某金融集团大数据分析平台总体架构方案(PPT 82页)

议程
金融集团管理分析类应用建设现状基本分析
大数据分析平台建设目标
大数据分析平台建设预期收益
大数据分析平台总体架构
大数据分析平台总体架构——数据产生层
大数据分析平台总体架构——数据交换层
大数据分析平台总体架构——数据交换层NAS存储
大数据分析平台总体架构——数据交换层大数据交换组件
大数据分析平台总体架构——数据交换层数据库数据交换组件
大数据分析平台总体架构——数据交换层数据区数据交换组件
大数据分析平台总体架构——流程调度层批量处理流程
大数据分析平台总体架构——流程调度层实时数据处理流程
大数据分析平台总体架构——流程调度层归档数据处理流程
大数据分析平台总体架构——数据存储层
大数据分析平台总体架构——数据存储层（续）
大数据分析平台总体架构——数据存储层数据流
大数据分析平台总体架构——数据应用层
大数据分析平台总体架构——平台发展不同阶段对应应用
大数据分析平台总体架构——管理分析类应用
大数据分析平台总体架构——数据访问层
大数据分析平台总体架构——数据管控层
大数据分析平台总体架构——数据管控体系内部运转机制
大数据分析平台总体架构——数据管控组织
大数据分析平台总体架构——数据标准管理
大数据分析平台总体架构——数据质量管理
大数据分析平台总体架构——元数据管理
大数据分析平台总体架构——数据安全管理
大数据分析平台总体架构——高阶工作流程
大数据分析平台总体架构——数据管控平台
大数据分析平台总体产品框架
大数据分析平台演进路线
大数据分析平台演进说明——基础数据平台
大数据分析平台演进说明——数据管控
大数据分析平台演进说明——应用体系
金融大数据分析平台一期架构
数据交换平台 — 平台逻辑架构
云数据推送平台实现源系统数据一次获取获、按需分发。
平台采用GoldenGate、JBUS、Flume等技术获取增量数据，存储在MySQL集群
平台按照接口规范生成文件，LZO压缩后，通过FTP传输到NAS指定目录
数据交换平台 — 参与方责任划分
数据交换平台 — 业务系统数据抽取实现方式
数据交换平台 — 平台部署架构
数据交换平台由8台X86服务器和一个NAS集群构成
X86 服务器按照功能分为2组，一组实现数据获取，一组实现数据加载和归档
NAS集群作为公共数据区，由8台服务器共享访问（读写）
流程调度平台 — 平台逻辑架构
流程调度平台 — 流程调度元数据
流程调度平台 — 任务调度引擎
流程调度平台 — 集群可靠性和可扩展性
流程调度平台 — 平台部署架构
..............................