您现在的位置: 精品资料网 >> 管理信息化 >> 大数据 >> 资料信息

联通大数据公安情报应用技术方案培训资料(doc 42页)

所属分类:
大数据
文件大小:
2601 KB
下载地址:
相关资料:
大数据,应用技术,技术方案,方案培训,培训资料
联通大数据公安情报应用技术方案培训资料(doc 42页)内容简介

目录
第1章 概述 5
1.1 项目背景 5
1.2 项目建设目标 5
1.3 项目建设内容 6
第2章 系统总体架构 6
第3章 系统网络及硬件环境 7
第4章 数据能力开发 8
4.1 联通总部大数据平台能力介绍 8
4.2 数据采集 9
4.2.1 实时数据采集 9
4.2.2 定时数据采集 9
4.2.3 网页数据(非结构化)数据采集 9
4.3 实时数据加工和处理 10
4.3.1 Spark平台 10
4.3.2 Spark Streaming实时数据加工 10
4.4 定时数据存储及加工 11
4.4.1 数据存储策略 11
4.4.2 Hadoop存储与加工 12
4.4.3 Oracle数据展现 17
第5章 应用功能开发 18
5.1 数据查询 18
5.1.1 号码位置查询 18
5.1.2 详单查询模块 19
5.1.3 号码轨迹查询模块 20
5.1.4 基站信息查询 21
5.1.5 机主信息查询模块 22
5.2 数据推送 23
5.2.1 用户基本信息推送 23
5.2.2 手机标记信息推送 23
5.2.3 数据接口 24
5.3 监控告警 24
5.3.1 标记管理 24
5.3.2 号码位置告警 25
5.4 统计分析 25
5.4.1 区域热力 25
5.4.2 关键词热力 26
5.5 数据分析 27
5.5.1 号码碰撞分析 27
5.5.2 联系人分析 27
5.5.3 关系人分析 28
5.5.4 外来人员分析 29
5.5.5 网上异动分析 30
第6章 项目实施 31
6.1 人员组织安排 31
6.2 项目实施步骤 32
6.2.1 平台搭建 32
6.2.2 功能开发 33
6.2.3 应用及优化 33
6.3 项目投入估算 34
附件1. 大数据平台相关技术原理说明 34
1. HADOOP基础平台 34
1.1. HDFS 34
1.2. Yarn 36
1.3. Zookeeper 37
2. HBASE高速即时查询 38
2.1. Hbase基础组件 38
2.2. Hbase封装组件 40
3. SPARK实时数据处理 42
附件2. 可对外提供数据合作的数据 43
1. 用户位置数据 43
2. 用户特征数据(标签) 44
3. 网上搜索关键词数据 46



..............................