大数据流式计算-关键技术及系统实例(PDF 24页)

内容摘要
云计算、物联网、移动互连、社交媒体等新兴信息技术和应用模式的快速发展,促使全球数据量急剧增加,
推动人类社会迈入大数据时代 [1−4] .一般意义上,大数据是指利用现有理论、方法、技术和工具难以在可接受的
时间内完成分析计算、整体呈现高价值的海量复杂数据集合.大数据呈现出多种鲜明特征 [3−7] :
•  在数据量方面,当前,全球所拥有的数据总量已经远远超过历史上的任何时期,更为重要的是,数据量的
增加速度呈现出倍增趋势,并且每个应用所计算的数据量也大幅增加;
•  在数据速率方面,数据的产生、传播的速度更快,在不同时空中流转,呈现出鲜明的流式特征,更为重要
的是,数据价值的有效时间急剧减少,也要求越来越高的数据计算和使用能力;
•  在数据复杂性方面,数据种类繁多,数据在编码方式、存储格式、应用特征等多个方面也存在多层次、
多方面的差异性,结构化、半结构化、非结构化数据并存,并且半结构化、非结构化数据所占的比例不
断增加;
•  在数据价值方面,数据规模增大到一定程度之后,隐含于数据中的知识的价值也随之增大,并将更多地
推动社会的发展和科技的进步.此外,大数据往往还呈现出个性化、不完备化、价值稀疏、交叉复用等
特征.
大数据蕴含大信息,大信息提炼大知识,大知识将在更高的层面、更广的视角、更大的范围帮助用户提高
洞察力、提升决策力,将为人类社会创造前所未有的重大价值.但与此同时,这些总量极大的价值往往隐藏在大
数据中,表现出了价值密度极低、分布极其不规律、信息隐藏程度极深、发现有用价值极其困难的鲜明特征.
这些特征必然为大数据的计算环节带来前所未有的挑战和机遇,并要求大数据计算系统具备高性能、实时性、
分布式、易用性、可扩展性等特征.
..............................