Python爬取4027条脉脉职言，解读互联网人的苦与难！

匿名发帖人无法获取更过细的数据，但对付那些不匿名的发帖人，可以获取他们地址公司 信息，将发帖数按公司汇总，看各大企业发帖量，可以作为整体的一个预计。统计时已经思量了公司名称输入纷歧致的环境，将蚂蚁金服、付出宝等替代成了阿里巴巴，京东金融等替代成京东，今天头条、抖音等替代为字节跳动，取发帖数TOP20。

可以看到，发帖人大多来自互联网企业，金融、地产等其他企业相对较少。

文天职析

对付转发、评述数、点赞数，由于有爬取时刻上的差别，以是欠好直接较量，给出评述数最多的前5条评述，看看各人最乐意参加的话题是什么。

1.  用一个字归纳综合一下你的2018年。(1659条评述)
2. 【再就业告急帖】本人是刚被优化掉的知乎措施员，事变3年。较量想去BAT等大厂，但愿贵厂HR们带公司认证往返覆一下，发一发真实有hc的岗亭，祝愿兄弟们都能找到新事变。(610条评述)
3. 用两个字归纳综合你此刻的事变。(477条评述)
4. 网易涨本年薪涨了50%.....公司是蓬勃了吗?(458条评述)
5. 用2个字总结你的事变。(415条评述)

1，4，5都是蛮故意思的题目，我们把1,4,5的评述都趴下来，做成词云，看看各人都在说些什么。

用一个字归纳综合你的2018年

爬虫进程跟上面根基是一样的，找到json，不外这个可以爬到所有评述。

# -*- coding: utf-8 -*- 
""" 
Created on Fri Oct 19 18:50:03 2018 
""" 
import urllib 
import requests 
from fake_useragent import UserAgent 
import json 
import pandas as pd 
import time 
# 发送get哀求 
comment_api = 'https://maimai.cn/sdk/web/gossip/getcmts?gid=18606987&page={}&count=50&hotcmts_limit_count=1&u=206793936&channel=www&version=4.0.0&_csrf=38244DlN-X0iNIk6A4seLXFx6hz3Ds6wfQ0Y&access_token=1.9ff1c9df8547b2b2c62bf58b28e84b97&uid=%22MRlTFjf812rF62rOeDhC6vAirs3A3wL6ApgZu%2Fo1crA%3D%22&token=%22rE8q1xp6fZlxvwygWJn1UFDjrmMXDrSE2tc6uDKNIDZtRErng0FRwvduckWMwYzn8CKuzcDfAvoCmBm7%2BjVysA%3D%3D%22' 
""" 
author：作者 
text：评述 
、 
 
""" 
 
 
#headers = { "User-Agent": UserAgent(verify_ssl=False).random,'Cookie':cookie} 
headers = { "User-Agent": UserAgent(verify_ssl=False).random} 
j = 0 
k = 0 
response_comment = requests.get(comment_api.format(0),headers = headers) 
json_comment = response_comment.text 
json_comment = json.loads(json_comment) 
 
 
num = json_comment['total'] 
cols = ['author','text'] 
dataall = pd.DataFrame(index = range(num),columns = cols) 
 
while j < num : 
   n = json_comment['count'] 
   for i in range(n): 
 
       dataall.loc[j,'author'] = json_comment['comments'][i]['name'] 
       dataall.loc[j,'text'] = json_comment['comments'][i]['text'] 
       j+= 1              
   k += 1 
   comment_api1 = comment_api.format(k)  
    
   response_comment = requests.get(comment_api1,headers = headers) 
   json_comment = response_comment.text 
   json_comment = json.loads(json_comment) 
   print('已完成 {}% !'.format(round(j/num*100,2))) 
   time.sleep(3) 
    
         
dataall.to_excel('用一个字归纳综合你的2018年.xlsx') 

（编辑：湖南网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!