您现在的位置: 精品资料网 >> 管理信息化 >> 大数据 >> 资料信息

大数据基础设计报告(DOC 26页)

所属分类:
大数据
文件大小:
1078 KB
下载地址:
相关资料:
大数据,数据基础,基础设计,设计报告
大数据基础设计报告(DOC 26页)内容简介
(10)查询搜索过”仙剑奇侠传“的uid,并且次数大于3
(1)查询总条数
(1)编写1个脚本sogou-log-extend.sh,
其中sogou-log-extend.sh的内容为:
(2)非空查询条数
(3)无重复总条数
(4)独立UID总数
(5)查询频度排名(频度最高的前50词)
(6)查询次数大于2次的用户总数
(7)查询次数大于2次的用户占比
(8)Rank在10以内的点击次数占比
(9)直接输入URL查询的比例
1.将原始数据加载到HDFS平台
1.将原始数据加载到HDFS平台。
1.查看数据库:showdatabases;
2.将原始数据中的时间字段拆分并拼接,添加年、月、日、小时字段
2.创建数据库:createdatabasesogou;
2.将原始数据中的时间字段拆分并拼接,添加年、月、日、小时字段。
3.将处理后的数据加载到HDFS平台
3.使用数据库:usesogou;
3.将处理后的数据加载到HDFS平台。
4.以下操作分别通过MR和Hive实现
4.以下操作分别通过MR和Hive实现。
4.查看所有表:showtables;
5.将4每步骤生成的结果保存到HDFS中
..............................
大数据基础设计报告(DOC 26页)

上一篇:大数据技术教学科研实验室建设方案(DOC 1

下一篇:尚无数据