【Python3 爬虫 js 逆向】今日头条 as、cp、_signature 参数
前情提要爬虫具有时效性,此篇文章代码不一定长期有效,但是解决方案通用。
版本信息:2020-07-17
今日头条 web 版的请求主要参数是:as、cp、_signature。
as、cp 比较简单,直接使用 js 源码,或者用 python 编译都可以
_signature 比较复杂
URL 分析随便打开今日头条网页版一个界面,示例这里打开的是 热点分栏 地址:https://www.toutiao.com/ch/news_hot/
我们向下滑动页面,不断加载出新的内容
按 F12 打开开发者工具,选择 Network 中的 XHR 标签,继续下滑头条网页,观察网页请求链接
以下为三个示例链接,我们分析一下:
123https://www.toutiao.com/api/pc/feed/?category=news_hot&utm_source=toutiao&widen=1&max_behot_time=0&max_behot_time_tmp=0&tadrequire=true&as=A1E51F21B0A055D&a ...