社交网络数据采集技术研究与应用

• 全文链接
• 请求原文

作   者：

徐雁飞;  刘渊;  吴文鹏; 

作者机构：

江南大学数字媒体学院; 

关键词：

网络爬虫;  融合策略;  模拟登录;  采集器;  Python;  微博API; 

期刊名称：

计算机科学

基金项目：

抽象度可调与关注点可聚焦的网络模拟技术及其复杂度与真实度分析

i s s n：

1002-137X

年卷期：

2017 年 44 卷 01 期

页   码：

277-282

摘   要：

随着社交网络的快速发展,对其研究也逐步深入。显然,社交网络基础数据的获取对研究具有非常重要的意义。针对目前已有的数据采集方案,根据新浪授权标准以及最新的微博加密方式,研究了两种采集方案:1)经OAuth2.0认证后,通过微博API接口获取数据;2)在RSA2加密方式下模拟登录微博,再通过网络爬虫抓取数据。同时,还研究了通过网页采集器针对微博编写适当的采集规则进而实现对数据的获取。3种数据采集方案都能有效地对数据进行采集且各具特点,针对数据的采集需求,提出融合不同的采集方案的策略。经实验研究,方案的融合策略可快速、高效地实现大数据量的采集。