您现在的位置: 精品资料网 >> 管理信息化 >> 数据仓 >> 资料信息

数据仓库建设方案(DOC 32页)

所属分类:
数据仓
文件大小:
1707 KB
下载地址:
相关资料:
数据仓库,建设方案
数据仓库建设方案(DOC 32页)内容简介
1.1数据仓库总体架构
1.2数据采集
1.2.1外部数据汇集
1.2.1.1数据汇集架构功能
1.2.1.2采集架构优势
1.2.2内部各层数据提取与加载
1.3数据加工与处理
1.4存储设计
1.4.1数据量估算
1.4.2数据存储
1.4.3分层存储
1.5数据分析建模
1.6数据资源管理
1.6.1数据标准管理
1.6.2数据监控管理
1.6.3元数据管理
1.7数据服务
1.8"SSD。
10年总数据量(乘上增长系数10%)≈530T(含操作系统)
10年数据量=530T*1.5≈800T(2倍冗余存储)
2大数据平台管理节点2*IntelXeonE7-4800/8800v3
2.1大数据平台基础架构
2.2FitData特点
2.3FitData主要功能
2.3.1节点批量自动部署
2.3.2节点动态管理
2.3.3服务组件状态监控
2.3.4计算资源负载监控
2.3.5多任务实时监控
2.3.6磁盘性能监控
2.3.7故障快速定位
2.3.8日常运维监控
2.4FitData优势
6应用服务器CPU:2颗E5-2630v3
67列列车年数据量=2*67*365/1024≈48T
7交换机4810/100/1000Base-TX,
7.1Hadoop集群监控
7.1.1服务组件状态监控
7.1.2存储与内存资源监控
7.2系统负载管理
7.3操作系统管理
7.3.1磁盘性能监控
7.3.2故障快速定位
7.3.3运行日志监控
7.4平台安全管理
7.5数据质量管理
7.5.1数据标准化
7.5.2数据质量检测
7.5.3数据关联
图10-7hadoop算法模型图
图向集群中添加节点
图服务组件运行状况
图计算资源监控
图:存储和内存资源监控
图:服务组件运行状况
图:磁盘性能监控
..............................
数据仓库建设方案(DOC 32页)