加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 教程 > 正文

我用Python爬了鹿晗、关晓彤微博的热门评论,并进行了情感分析

发布时间:2018-05-12 00:47:55 所属栏目:教程 来源:51CTO
导读:信托最近科技圈都在奚落一件事:10 月 8 日午时的一条微博,激发了一场新浪微博用户们(尤其是女性用户)之间的轩然大波,导致新浪微博瘫痪。 本文首要涉及常识点包罗新浪微博爬虫、Python 对数据库的简朴读写、简朴的列表数据去重和天然说话处理赏罚(snowNLP 模

信托最近科技圈都在奚落一件事:10 月 8 日午时的一条微博,激发了一场新浪微博用户们(尤其是女性用户)之间的轩然大波,导致新浪微博瘫痪。

本文首要涉及常识点包罗新浪微博爬虫、Python 对数据库的简朴读写、简朴的列表数据去重和天然说话处理赏罚(snowNLP 模块、呆板进修)。得当有必然编程基本,并对 Python 有所相识的盆友阅读。

这条微博的始作俑者,就是环球超人气偶像明星鹿晗。

措施员们纷纷开启了科♂学地接头:

具体内容可见昨日的图文:鹿晗是怎样将微博处事器搞炸的?

微博工程师是怎样一边成婚一边加班的:

淘宝措施员是怎样包涵鹿晗的:

在这一刻,全天下都知道鹿晗爱情了:

环球的女鹿吩菔被起失恋了。

那么鹿晗的粉丝们情感怎样呢?我们来说明一下鹿晗恋情微博的评述,说明评述时粉丝们的神色状态,且听我娓娓道来。(想看说明功效的可直接跳到第 5 节)

新浪微博 API

在经验了屡次爬虫被禁的悲哀(真的很痛)之后,我学会了在爬网站之前先查有没有 API 的“精良”风俗。

新浪作为一个大厂,怎么会不推出新浪微博 API 呢,面向开拓者新浪有本身的开放平台,这里是 Python 挪用微博 API 的要领,通过登录 App_key 和 App_secret 方法会见微博 API 的代码,代码是基于 PY2 的。PY3 对 Weibo 模块行使存在必然题目。

  1. from weibo import APIClient

  2. import webbrowser

  3. import sys

  4. reload(sys)

  5. sys.setdefaultencoding('utf-8')

  6. APP_KEY = '你的App Key ' #获取的App Key

  7. APP_SECRET = '你的AppSecret' #获取的AppSecret

  8. CALLBACK_URL = 'https://api.weibo.com/oauth2/default.html' #回调链接

  9. client = APIClient(app_key=APP_KEY, app_secret=APP_SECRET, redirect_uri=CALLBACK_URL)

  10. url = client.get_authorize_url()

  11. webbrowser.open_new(url) #打开默认赏识器获取code参数

  12. print '输入url中code后头的内容后按回车键:'

  13. code = raw_input()

  14. r = client.request_access_token(code)

  15. access_token = r.access_token

  16. expires_in = r.expires_in

  17. client.set_access_token(access_token, expires_in)

知道怎样登录 API 了,辣么怎样挪用 API 爬单条微博的评述呢?一行代码搞定。

r = client.comments.show.get(id = 4160547165300149,count = 200,page = 1)

全部关于单条微博的评述信息都在 r.comments 中了,这里必要比较微博 API 文档,微博 API 有声明挪用微博评述 API 必要获取用户授权。

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    热点阅读