怎么构造cookies应对python反爬虫-创新互联
小编给大家分享一下怎么构造cookies应对python反爬虫，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！
网站需要cookies才能正常返回，但是该网站的cookies过期很快，我总不能用浏览器开发者工具获取cookies，然后让程序跑一会儿，每隔几分钟再手动获取cookies，再让程序继续跑吧。如果反复这样工作，那么写爬虫也就没意义了。便开始对cookies进行分析。
从浏览器的开发者工具获取到的cookies大约有10个字段，经过反复测试，能让网站正常返回的只需要两个字段，分别为__jsluid_h=011a522dbxxxxxxxxc1ce59d336e5e60和__jsl_clearance=1581880640.794|0|trTB4c6b%2BZpvxxxxxxxx8YqCOOo%3D （中间打码处理）。
经过测试，如果请求的时候不自己构造cookies，默认会返回__jsluid_h ：
先尝试了将那段js脚本保存下来，包装成一个html文件打开，发现浏览器不停的刷新，也并没起什么作用。那就分析一下js脚本，原来的代码是单行的，自己整理一下并加了一些变量名和log，大概是这么个样子：
将第16行的变量cmd打印出来看看，发现是另一段类似的脚本：
可以看到第二段脚本已经开始设置cookies的__jsl_clearence 字段了。这些显然就是混淆后的js脚本，但是分析到这里也就大概弄明白了从发送请求到网站返回是怎么回事。之所以在本地跑这段代码会不断刷新，是因为第二行的setTimeout会让其在1.5秒后重新请求，但是我们本地没有服务处理请求让其停止，所以会不断的刷新。
而第一段脚本当中，变量y是完整的js代码 ，代码中的变量名和关键字被进行编码了，变量x存储的是用来替换的变量名和关键字，后面是解码函数。所以现在的问题变成了获取第一段脚本当中的cmd代码，执行后再获取第二段代码的document.cookie的内容即可。
可是对于python和js的交互我完全没接触过，尝试了PyExecJS和Js2Py，都没办法正常执行第一段脚本。无奈之下，我用python复现了第一段脚本，然后用Js2Py获取了cookie。在请求一次过后，构造cookies，再请求一次，就可以了：
def test():
url = REQUEST_URL
# url = 'https://www.baidu.com'
request_header = get_header()
html = requests.get(url, headers=request_header)
print(html)
jscode = html.text
# print(jscode)
# tryjs.get_cookies()为复现的js代码，以及用Js2Py获取cookies的代码
request_cookies = try_js.get_cookies(jscode)
request_cookies += ';__jsluid_h=' + html.cookies['__jsluid_h']
request_header['Cookie'] = request_cookies
print(request_header)
html = requests.get(url, headers=request_header, timeout=5)
print('new connection')
print(html)
print(html.text)以上是“怎么构造cookies应对python反爬虫”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注创新互联行业资讯频道！
网页名称：怎么构造cookies应对python反爬虫-创新互联
当前网址：http://myzitong.com/article/djdjis.html