设为首页 - 加入收藏 华夏网 (http://www.hxwgxz.com)- 云主机,资讯,互联网,人工智能,云计算,大数据,区块链,VR,站长网!
热搜: 2017 2018 什么 市场
当前位置: 主页 > 教程 > 正文

Python爬取4027条脉脉职言,解读互联网人的苦与难!

发布时间:2019-01-30 07:47 所属栏目:[教程] 来源:量化小白H
导读:脉脉是一个实名职场社交平台。之前爬了脉脉职言版块,大概爬了4027条评论,本文对爬取过程给出详细说明,对于评论内容仅做可视化分析,之前存了一堆这方面的文章,今天一看全都404了。 爬虫 仍然使用python编程,对爬虫没兴趣的可以直接跳过看下部分,不影

脉脉是一个实名职场社交平台。之前爬了脉脉职言版块,大概爬了4027条评论,本文对爬取过程给出详细说明,对于评论内容仅做可视化分析,之前存了一堆这方面的文章,今天一看全都404了”。

爬虫

仍然使用python编程,对爬虫没兴趣的可以直接跳过看下部分,不影响悦读。

网址https://maimai.cn/gossip_list。

需要先登录才能看到里面的内容。爬取目标:

Python爬取4027条脉脉职言,解读互联网人的苦与难!

只爬文字部分,图片不考虑。

在浏览器内按F12打开开发者,向下滑,会看到很多gossip开头的json文件(不行的话刷新一下)

Python爬取4027条脉脉职言,解读互联网人的苦与难!

右键open in new tab,里面是一条一条记录,text后面是评论内容。

Python爬取4027条脉脉职言,解读互联网人的苦与难!

我们感兴趣的信息是下面这些

Python爬取4027条脉脉职言,解读互联网人的苦与难!

看一看每个网站的地址,都是page=数字结尾,所以爬的时候写一个循环,数字从1开始往后取就可以了。

  1. https://maimai.cn/sdk/web/gossip_list?u=206793936&channel=www&version=4.0.0&_csrf=coAlLvgS-UogpI75vEgHk4O1OQivF2ofLce4&access_token=1.9ff1c9df8547b2b2c62bf58b28e84b97&uid=%22MRlTFjf812rF62rOeDhC6vAirs3A3wL6ApgZu%2Fo1crA%3D%22&token=%22rE8q1xp6fZlxvwygWJn1UFDjrmMXDrSE2tc6uDKNIDZtRErng0FRwvduckWMwYzn8CKuzcDfAvoCmBm7%2BjVysA%3D%3D%22&page=1&jsononly=1 

json的最开头有total和remain两个参数,给出了目前所有可见评论剩余数和总数,可以作为循环的停止条件。

Python爬取4027条脉脉职言,解读互联网人的苦与难!

但比较坑的一点是,脉脉并不能可见所有评论,而且评论是不断刷新的,所有如果爬完一页循环到下一页或者尝试过很多次之后,他会提示你:

Python爬取4027条脉脉职言,解读互联网人的苦与难!

直接看的时候有这样的提示会体验很好,但对于爬虫来说就不是很友好了,,需要加个if判断。

另外爬的太快,也会出错,记得加time.sleep。

Python爬取4027条脉脉职言,解读互联网人的苦与难!

大概把能踩的坑都踩了,所以如果顺利的话,每次只能爬几百条信息,想爬更多的话,需要过一段时间等信息更新的差不多了再爬,代码如下

  1. # -*- coding: utf-8 -*- 
  2. """ 
  3. Created on Fri Oct 19 18:50:03 2018 
  4. """ 
  5. import urllib 
  6. import requests 
  7. from fake_useragent import UserAgent 
  8. import json 
  9. import pandas as pd 
  10. import time 
  11. import datetime 
  12. #comment_api = 'https://maimai.cn/sdk/web/gossip_list?u=206793936&channel=www&version=4.0.0&_csrf=7ZRpwOSi-JHa7JrTECXLA8njznQZVbi7d4Uo&access_token=1.b7e3acc5ef86e51a78f3410f99aa642a&uid=%22MRlTFjf812rF62rOeDhC6vAirs3A3wL6ApgZu%2Fo1crA%3D%22&token=%22xoNo1TZ8k28e0JTNFqyxlxg%2BdL%2BY6jtoUjKZwE3ke2IZ919o%2FAUeOvcX2yA03CAx8CKuzcDfAvoCmBm7%2BjVysA%3D%3D%22&page={}&jsononly=1' 
  13. # 发送get请求 
  14. comment_api = 'https://maimai.cn/sdk/web/gossip_list?u=206793936&channel=www&version=4.0.0&_csrf=FfHZIyBb-H4LEs35NcyhyoAvRM7OkMRB0Jpo&access_token=1.0d4c87c687410a15810ee6304e1cd53b&uid=%22MRlTFjf812rF62rOeDhC6vAirs3A3wL6ApgZu%2Fo1crA%3D%22&token=%22G7rGLEqmm1wY0HP4q%2BxpPFCDj%2BHqGJFm0mSa%2BxpqPg47egJdXL%2FriMlMlHuQj%2BgM8CKuzcDfAvoCmBm7%2BjVysA%3D%3D%22&page={}&jsononly=1' 
  15. """ 
  16. author:作者 
  17. text:评论 
  18. cmts :评论数 
  19. circles_views:被查看数 
  20. spread :转发数 
  21. likes :点赞数 
  22. time : 时间 
  23.  
  24. """ 
  25.  
  26.  
  27. headers = { "User-Agent": UserAgent(verify_ssl=False).random} 
  28. j = 0 
  29. k = 0 
  30. response_comment = requests.get(comment_api.format(0),headers = headers) 
  31. json_comment = response_comment.text 
  32. json_comment = json.loads(json_comment) 
  33. num = json_comment['total'] 
  34. cols = ['author','text','cmts','likes','circles_views','spreads','time'] 
  35. dataall = pd.DataFrame(index = range(num),columns = cols) 
  36. remain = json_comment['remain'] 
  37. print(remain) 
  38. while remain!= 0 : 
  39.    n = json_comment['count'] 
  40.    for i in range(n): 
  41.        if json_comment['data'][i]['text'] !='下面内容已经看过了,点此刷新': 
  42.            dataall.loc[j,'author'] = json_comment['data'][i]['author'] 
  43.            dataall.loc[j,'text'] = json_comment['data'][i]['text'] 
  44.            dataall.loc[j,'cmts'] = json_comment['data'][i]['cmts'] 
  45.            dataall.loc[j,'likes'] = json_comment['data'][i]['likes'] 
  46.            dataall.loc[j,'circles_views'] = json_comment['data'][i]['circles_views'] 
  47.            dataall.loc[j,'spreads'] = json_comment['data'][i]['spreads'] 
  48.            dataall.loc[j,'time'] = json_comment['data'][i]['time'] 
  49.  
  50.            j+= 1              
  51.        else: 
  52.            k = -1     
  53.            break                              
  54.    k+= 1 
  55.    comment_api1 = comment_api.format(k)     
  56.    response_comment = requests.get(comment_api1,headers = headers) 
  57.    json_comment = response_comment.text 
  58.    json_comment = json.loads(json_comment) 
  59.    remain = json_comment['remain'] 
  60.    print('已完成 {}% !'.format(round(j/num*100,2))) 
  61.    time.sleep(3)           
  62. dataall = dataall.dropna() 
  63. dataall = dataall.drop_duplicates() 
  64.  
  65. dataall.to_csv('data_20181216_part3.csv',index = False) 

数据可视化

【免责声明】本站内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。

网友评论
推荐文章