|
副问题[/!--empirenews.page--]
【大咖·来了 第7期】10月24日晚8点寓目《智能导购对话呆板人实践》
获取数据
着实逻辑并不伟大：
- 爬取歌单列内外的全部歌单url。
- 进入每篇歌单爬取全部歌曲url，去重。
- 进入每首歌曲首页爬取热评，汇总。
歌单列表是这样的：
翻页并调查它的url变革，留意下方动图，每次翻页末端变革35。
回收requests+pyquery来爬取
- def get_list():
- list1 = []
- for i in range(0,1295,35):
- url = 'https://music.163.com/discover/playlist/?order=hot&cat=%E5%8D%8E%E8%AF%AD&limit=35&offset='+str(i)
- print('已乐成收罗%i页歌单n' %(i/35+1))
- data = []
- html = restaurant(url)
- doc = pq(html)
- for i in range(1,36): # 一页35个歌单
- a = doc('#m-pl-container > li:nth-child(' + str(i) +') > div > a').attr('href')
- a1 = 'https://music.163.com/api' + a.replace('?','/detail?')
- data.append(a1)
- list1.extend(data)
- time.sleep(5+random.random())
- return list1
这样我们就可以得到38页每页35篇歌单，共1300+篇歌单。
下面我们必要进入每篇歌单爬取全部歌曲url，而且要留意最后“去重”，差异歌单也许包括统一首歌曲。
点开一篇歌单，留意赤色圈出的id。
调查一下，我们要在每篇歌单下方获取的信息也就是红框圈出的这些，操作方才爬取到的歌单id和网易云音乐的api可以结构出：
不利便看的话我们理会一下json。
- def get_playlist(url):
- data = []
- doc = get_json(url)
- obj=json.loads(doc)
- jobs=obj['result']['tracks']
- for job in jobs:
- dic = {}
- dic['name']=jsonpath.jsonpath(job,'$..name')[0] #歌曲名称
- dic['id']=jsonpath.jsonpath(job,'$..id')[0] #歌曲ID
- data.append(dic)
- return data
这样我们就获取了全部歌单下的歌曲，记得去重。
- #去重
- data = data.drop_duplicates(subset=None, keep='first', inplace=True)
剩下就是获取每首歌曲的热评了，与前面获取歌曲相同，也是按照api结构，很轻易就找到了。
- def get_comments(url,k):
- data = []
- doc = get_json(url)
- obj=json.loads(doc)
- jobs=obj['hotComments']
- for job in jobs:
- dic = {}
- dic['content']=jsonpath.jsonpath(job,'$..content')[0]
- dic['time']= stampToTime(jsonpath.jsonpath(job,'$..time')[0])
- dic['userId']=jsonpath.jsonpath(job['user'],'$..userId')[0] #用户ID
- dic['nickname']=jsonpath.jsonpath(job['user'],'$..nickname')[0]#用户名
- dic['likedCount']=jsonpath.jsonpath(job,'$..likedCount')[0]
- dic['name']= k
- data.append(dic)
- return data
汇总后就得到了44万条音乐热评数据。
数据说明
（编辑：湖南网）
【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!
|
