基于Hadoop的大数据运营系统

• 全文链接
• 请求原文

作   者：

高海超;  常祎雯;  杨文峰;  冯学伟;  邓哲;  白涛; 

作者机构：

延安大学数学与计算机科学学院; 

关键词：

Hadoop;  ALS;  大数据; 

期刊名称：

科学技术创新

i s s n：

1673-1328

年卷期：

2021 年 019 期

页   码：

93-94

摘   要：

大数据时代的电商行业对数据的需求日益剧增,数据可对电商企业的发展和规划起到极大的指导作用,采用Hadoop分布式大数据处理框架,实现了对商品的个性化推荐提升商业效益。提出以Hadoop HDFS作为存储系统,对用户历史数据进行存储。对原数据进行去重和补偿后使用Spark提供的MLlib中的协同过滤来计算推荐结果,并基于用户的协同过滤和交替最小二乘法两种算法来实现部分推荐结果。能够达到直观展示大数据处理、亚秒级实时推荐的良好效果。