爬取 微博

电脑版:http://weibo.com
手机版wap版: https://weibo.cn/
手机app版:https://m.weibo.cn/

我采用的是爬取手机wap版,weibo.cn

最重要的是这四个参数:_T_WM、SUB、SUHB、SCF

爬取微博主要思路是登录后获取cookie,cookie可以一直用

一个账号1分钟爬取次数不要太快,尽量小于10次。

最近登录记录
https://security.weibo.com/loginrecord/active

References

[1] 新浪微博爬虫分享(一天可抓取 1300 万条数据)
[2] Python 爬虫如何机器登录新浪微博并抓取内容?
[3] 微博模拟登陆研究
[4] 微博爬虫开源项目汇总大全(长期更新、欢迎补充)
[5] 【java】微博爬虫(一):小试牛刀——网易微博爬虫(自定义关键字爬取微博数据)
[6] 详解抓取网站,模拟登陆,抓取动态网页的原理和实现(Python,C#等)
[7] 用python对鹿晗、关晓彤微博进行情感分析
[8] 模拟新浪微博登录:从原理分析到实现
[9] 【网络爬虫】【java】微博爬虫(二):如何抓取HTML页面及HttpClient使用
[10] 网络爬虫系列
[11] 新浪微博的 GSID 泄露是什么样一个漏洞?怎么被人发现的?
[12] 零授权,抓取新浪微博任何用户的微博内容
[13] 新浪微博gsid劫持
[14] 新浪微博爬取笔记
[15] 新浪微博爬取笔记(2):wap端模拟登陆 python
[16] 模拟新浪微博wap登录
[17] Python模拟新浪微博登录