您的位置：
首页
>
农业专利
>
详情页
一种海量web日志数据查询与分析方法
- 专利权人:
- 南京信息工程大学
- 发明人:
- 马廷淮,瞿晶晶,田伟,薛羽,曹杰
- 申请号：
- CN201410596395.6
- 公开号：
- CN104298771A
- 申请日:
- 2014.10.30
- 申请国别(地区):
- 中国
- 年份:
- 2015
- 代理人:
- 顾进`叶涓涓
- 摘要：
- 本发明利用Hadoop/Hive分布式计算平台的高可靠性、高扩展性、高效性以及高容错性，公开了一种基于Hadoop和Hive的海量web日志数据的查询与分析方法。本发明包括以下步骤：对各个数据源的数据进行解析；将数据装载进数据仓库中；接收HiveQL语句；对接受语句进行优化，得到初步map结果；将接受语句转换成MapReduce任务执行并存储查询结果；数据分割；对数据进行分析挖掘；将数据装载进Mysql数据库中。本发明针对海量的web日志数据，实现精确地查询和数据分析，既能实现海量数据存储查询分析的可扩展性和高效性，也避免数据倾斜带来的job分布不均整体性能下降的问题。
- 来源网站：
- 中国工程科技知识中心
- 来源网址：
- http://www.ckcest.cn/home/
