加入收藏 | 设为首页 | 会员中心 | 我要投稿 湖南网 (https://www.hunanwang.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 教程 > 正文

Python爬虫44万条数据揭秘:怎样成为网易音乐评述区的网红段子手

发布时间:2019-10-18 20:12:35 所属栏目:教程 来源:嗨学python
导读:【大咖·来了 第7期】10月24日晚8点寓目《智能导购对话呆板人实践》 获取数据 着实逻辑并不伟大: 爬取歌单列内外的全部歌单url。 进入每篇歌单爬取全部歌曲url,去重。 进入每首歌曲首页爬取热评,汇总。 歌单列表是这样的: 翻页并调查它的url变革,留意

凭证点赞数排个序。

  1. #排序 
  2. df1['likedCount'] = df1['likedCount'].astype('int') 
  3. df_2 = df1.sort_values(by="likedCount",ascending=False) 
  4. df_2.head() 
Python爬虫44万条数据揭秘:怎样成为网易音乐评述区的网红段子手

再看看哪些热评是被复制粘贴搬来搬去的。

  1. #排序 
  2. df_line = df.groupby(['content']).count().reset_index().sort_values(by="name",ascending=False) 
  3. df_line.head() 
Python爬虫44万条数据揭秘:怎样成为网易音乐评述区的网红段子手

第一个和第三个只是末端有没有句号的区别,可以归为一类。这样的话,一再次数最多个这句话竟然一再了412次,额~~

看看上热评次数次数最多的是哪位大神?从他的身上我们能学到什么履历?

  1. df_user = df.groupby(['userId']).count().reset_index().sort_values(by="name",ascending=False) 
  2. df_user.head() 

凭证 user_id 汇总一下,排序。

Python爬虫44万条数据揭秘:怎样成为网易音乐评述区的网红段子手

乐成“捕捉”一枚“段子手”,上热评次数高达347,我们再看看这位大神毕竟都评述些什么?

  1. df_user_max = df.loc[(df['userId'] == 101***770)] 
  2. df_user_max.head() 
Python爬虫44万条数据揭秘:怎样成为网易音乐评述区的网红段子手

这位“失眠的陈老师”看来各类情话娴熟于手啊,下面就以他举例来看看怎样成为网易云音乐评述里的热评段子手吧。

数据可视化

先看看这347条评述的赞数漫衍。

  1. #赞数漫衍图 
  2. import matplotlib.pyplot as plt 
  3. data = df_user_max['likedCount'] 
  4. #data.to_csv("df_user_max.csv", index_label="index_label",encoding='utf-8-sig') 
  5. plt.hist(data,100,normed=True,facecolor='g',alpha=0.9) 
  6. plt.show() 
Python爬虫44万条数据揭秘:怎样成为网易音乐评述区的网红段子手

很明明,赞数并不多,大部门都在500赞之内,几百赞却能跻身热评,这也侧面声名白这些歌曲是较量小众的,看来是常常在新歌区广撒网。

我们行使len() 求出每条评述的字符串长度,再画个漫衍图

Python爬虫44万条数据揭秘:怎样成为网易音乐评述区的网红段子手

评述的字数齐集在18—30字之间,这声名在留言时要留意字数,保险的做法是不要太长让人读不下去,也不要太短以免不足经典。

做个词云。

Python爬虫44万条数据揭秘:怎样成为网易音乐评述区的网红段子手

(编辑:湖南网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

热点阅读