您现在的位置: 精品资料网 >> 品质管理 >> spc统计 >> 资料信息

大数据分析的案例方法与挑战(DOCX 47页)

所属分类:
spc统计
文件大小:
4390 KB
下载地址:
相关资料:
大数据,数据分析
大数据分析的案例方法与挑战(DOCX 47页)内容简介
数据日趋庞大,无论是入库和查询,都出现性能瓶颈
用户的应用和分析结果呈整合趋势,对实时性和响应时间要求越来越高
使用的模型越来越复杂,计算量指数级上升
传统技能无法应对大数据:R、SAS、SQL
数据库服务器:HP小型机,128G内存,48颗CPU,2节点RAC,其中一个节点用于入
库,另外一个节点用于查询
存储:HP虚拟化存储,>1000个盘
入库节点
入库方式——常规路径sqlldr
大量使用表分区设计
数据量:每小时写入200G左右数据磁盘物理写大约
为450G每小时
问题:1 入库瓶颈 2 查询瓶颈
..............................