大数据平台解决方案规划(PPT 139页)
主要内容
大数据平台概述
大数据服务能够在哪些方面为企业客户提供价值？
大数据服务面向的三类企业客户
大数据平台的三种服务交付方式
Data Warehouse as a Service数据仓储即服务
Data Warehouse as a Service的服务交付方式
Analytics as a Service分析平台即服务
Analytics as a Service的服务交付方式
Intelligence as a Service 智能即服务
Intelligence as a Service的服务交付方式
系统边界
源数据接口S1-S8
互动接口
三级平台架构
三级平台功能架构
三级平台功能架构（续）
二级大数据平台功能架构
二级平台各层的功能
二级平台各层的功能（续）
集成架构
数据集成在大数据平台中的位置
省级数据集成和二级大数据平台数据集成的关系
数据集成的类型
大数据平台支持的多类型数据集成
传统的BI系统数据ETL存在的难题
基于云计算的非实时并行数据集成的特点
核心技术——分布式存储
Hadoop概述
核心技术——基于Map/Reduce的并行计算
并行计算的流程
基于云计算的并行数据集成模块的功能架构
集成环境
与传统ETL比较 —— 容错性与扩展性
物理部署
将文本类非结构化数据转化为结构化数据
核心技术——中文分词
中文分词的核心难点
核心技术——基于数据挖掘的文本分类，将非结构化数据转化为结构化数据
文本分类的核心挖掘算法
文本分类的核心挖掘算法（续）
多类型数据集成
流数据的特点
流数据处理的关键技术——S4分布式流计算平台
S4的特点
技术原理
流数据处理的其它商用产品—— IBM StreamBase CEP
流数据处理的其它商用产品—— Sybase Aleri Event Stream Processor
流数据集成的应用场景——信令数据处理
VDC虚拟数据中心的IT合理化思路
IaaS架构相对于传统IT架构的优势
通过IaaS架构实现IT资源合理化
IaaS架构的实现：资源管理平台和基础设施云化
1、资源管理平台
资源管理平台的逻辑结构
资源管理平台的功能模块
资源管理平台的特点
资源管理平台的端到端工作流程
2、基础设施云化
基础设施云化可降低能耗、节约电力成本
通过基础设施云化构建绿色数据中心
新一代绿色智能数据中心：模块化数据中心
大数据混合式存储架构概述
从传统的分析型和交易型系统通用的数据库逐步向分析型系统专用的数据库转变
关键技术——列数据库
列式数据库与行式数据库在分析型系统中的性能对比
列数据库的商用产品——Sybase IQ
列数据库的商用产品——HP Vertica
关键技术——MPP数据库
Share-nothing 架构
商用产品——IBM Netezza Appliance
商用产品——EMC Greenplum
大数据存储和处理的关键技术——Hadoop
大数据存储和处理的关键技术——NoSQL
NoSQL的产品——Membase
NOSQL的产品——MongoDB
大数据存储和处理的关键技术——流数据处理引擎
大数据平台的逻辑数据架构
混合式存储架构
混合式存储架构（续）
PaaS平台概述
为什么要打造大数据PaaS平台？
PaaS平台的目标
PaaS平台提供的核心开发支撑能力
能力一：统一数据访问和处理引擎
基础支撑能力一：统一数据访问和处理引擎（续）
数据支撑示例——用户六维全息视图
基础支撑能力二：数据挖掘引擎
基础支撑能力三：工作流引擎
基础支撑能力四：数据可视化引擎
PaaS平台的开发和运行环境架构
统一的开发环境—应用开发、发布的流程
统一数据访问的实现
统一运行环境—应用容器
支持多开发商的应用部署和管理
支持多开发商的应用部署和管理（续）
PaaS平台的监控管理能力
PaaS平台化的意义
行业解决方案示例
为什么客户的手机等智能终端的上网行为至关重要？
分析用户的手机上网行为可以真正了解客户，帮助中国移动在多个维度上真正实现差异化营销和服务
示例
手机上网行为分析的前提——基于文本挖掘的URL智能分析
保证海量文本数据的挖掘效率和实时性——云计算平台
应用场景示例——基于三类中高端客户的手机上网行为特征实现差异化营销
手机上网行为分析的功能
1 热门网站和应用分析
网站和应用推荐—应用于激发用户流量使用
案例：通过定制特定网站和应用的流量资费，激发用户使用流量
基于内容偏好的用户分群
2 热门内容分析
3 时间-内容相关分析
捕捉最佳营销时机
4 关键字激增识别
事件营销
5 内容传播轨迹
引爆点营销
6 区域群体特征
关注某热门内容的用户分布
7 终端升级需求挖掘
行业解决方案
医疗行业运营管理平台
平台核心分析模型
信用卡欺诈模式识别
信用卡欺诈行为主要模式
信用卡欺诈识别实施效果
酒店行业智能化数据分析
界面示例
解决方案的特点
..............................