大数据分析解决方案(DOC 52页)

内容摘要
【文章摘要】大数据的性质是有他的三个特点（数据量大、种类多、处理速度快）决定的，数据分析的角色和作用理所当然是由大数据的性质决定的。当数据分析作用于大数据时，大数据必须身兼数职。意思就是数据分析在一个组织中扮演着多种角色和担负着多重责任。
数据分析的职位是由DJ Patil和Jeff Hammerbacher制定的，他们试图称呼数据组的同事们，而又不想因为称呼而限制他们的能力。（because of improper job title like business analyst or research scientist Building Data Science Teams）
随着大数据在驱动企业成功中越来越有决定性作用，数据分析也变得越来越受欢迎。然而，一些领导者对数据分析扮演的角色和它所起的作用仍然不是很了 解，就像很多时候领导者不知道怎么从大数据中抽取有用的信息，虽然很清楚的知道这些大数据是很可信的。他们的脚步落后了——他们的眼光在大数据的利用上其 实是模糊的。
大数据的性质是有他的三个特点（数据量大、种类多、处理速度快）决定的，数据分析的角色和作用理所当然是由大数据的性质决定的。当数据分析作用于大数据时，大数据必须身兼数职。意思就是数据分析在一个组织中扮演着多种角色和担负着多重责任。
多种知识的掌握
为了解决数据量大的问题，大数据平台（例如：Apache Hadoop、LexisNexis HPPC）要求数据是被整理过的。数据分析员应该具有大数据平台应用的全方位知识，这样才能熟练的应用数据平台处理大数据。数据分析元应当具有以下知识：
1、了解大数据平台的框架，例如：DFS和MapReduce，他们的编程框架提供强大的应用程序设计。这就意味着数据分析员还要有软件构筑和设计的能力。
2、精通大数据平台支持的编程语言，例如：Java, Python, C++, or ECL, 等等。
3、具有熟练的数据库知识，特别是用到SQL语言的数据库，像：HBase, CouchDB, 等等。因为大数据平台经常需要数据库来存储和转换数据。
4、具有数学/统计学、机器学习、数据挖掘领域的专业知识。
一个企业的成功不是由数据量决定的，而是由能否成功的从大数据中发现和抽取有用的知识模式和关系决定的，然后用这些有价值的信息创造出有价值的产 品。统计学、机器学习和数据挖掘可以很好的用于理解数据和发掘数据的价值。自然，为了成功数据分析者必须具备这些领域的专门知识。会使用一些数据挖掘工具 或者平台（例如：R, Excel, SPSS and SAS）是最好的，可以《Top Analytics and big data software tools》这本书。
5、熟练应用自然语言处理的软件或工具。大数据的内容大都来自于文本文件、新闻、社交媒体和报告、建议书等等。因此了解和掌握至少一种自然语言处理软件或工具对于做一个成功的分析者起着决定性的作用。

..............................