分析请求

打开 开发者模式 抓包 很快就可以看到下面这个请求返回的是我们需要的数据：

 

我们先根据这里的请求，写一份代码测试一下哪些是我们必须的参数：

类似这样：

import requests

url = "http://www.gsxt.gov.cn/affiche-query-area-info-paperall.html"

querystring = {"noticeType":"11","areaid":"100000","noticeTitle":"","regOrg":""}

payload = "draw=1&start=0&length=10"
headers = {
    'Cookie': "__jsluid_h=aa1c7a0fc461a8ea63747a4b02956b38; __jsl_clearance=1565006542.706|0|D0rZ6Fm9vgqQ2QyKbNgIlZRkMsw%3D; SECTOKEN=6968716378603526401; UM_distinctid=16c61a8e0d03f5-01bbcf42e0196a-37647c02-13c680-16c61a8e0d17c1; CNZZDATA1261033118=2135658768-1565002015-http%253A%252F%252Fwww.gsxt.gov.cn%252F%7C1565002015; JSESSIONID=40B833BC895E78C1A2E6C2D74C1DE6F8-n2:2; tlb_cookie=S172.16.12.42",
    'Origin': "http://www.gsxt.gov.cn",
    'Accept-Encoding': "gzip, deflate",
    'Accept-Language': "zh-CN,zh;q=0.9",
    'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36",
    }
response = requests.post(url, data=payload, headers=headers, params=querystring)

print(response.text)

通过不断删除 headers 中的参数并观察返回值，来判断哪些是必须携带的参数，哪些是无关紧要的参数。

测试过程比较繁琐就不一一截图演示，同时建议放慢测试请求速度，否则会触发网站的反爬措施。

经过测试可以发现 UA 以及 Cookie 中的 __jsluid_h  __jsl_clearance SECTOKEN or JSESSIONID 都是不可缺少的参数。

分析参数的生成

现在就需要一一找齐参数是怎样生成的：

这里的 UA 就不需要分析了，直接复制浏览器的即可，这里需要注意的是这里的 UA 与 Cookie 还有 IP 是对应的，所以出现更换 UA 的情况那么 Cookie 就需要重新生成，这样的设置对于批量爬取的兄die是个难度不小的点，我们抱着学习的态度就不用考虑太多了。

接下来分析 Cookie 的生成，先看看 __jsluid_h

通过用浏览器抓包 可以看到  __jsluid_h 是通过请求 Set 进来的，我们照着来一遍就行。

 

接下来看看  SECTOKEN or JSESSIONID 和上面的参数套路一样，区别在于这个请求的 Cookie 中必须带上 __jsl_clearance

 

 

接下来需要关注的就只有 Cookie 值  __jsl_clearance

在这几个请求包里反复筛选都没有发现这个值是怎么写入的（怕漏掉的可以用 Fiddler 抓），那么就只可能是 js 生成的了。

 

通过不带 Cookie 的方式请求一次，可以看到网页返回了和上次文章中加密二类似的 js 代码 ，按照上次文章的套路，我们复制到 Console 中测试一下。

测试流程：

先把 eval 改成 console.log 让结果打印出来。

 

 

把测试结果复制出来格式化，可以看到格式化后的代码分为两个部分，主要的是上面的 Cookie 生成代码。

 

所以单独把上半部分代码复制出来调试即可，需要注意的是通过 Python 调用的 Node 环境不支持 document 这类浏览器属性所以调试的时候需要将它去除或在 Node 下执行不报错即可。

通过调试我们生成了下面这个字符串。

 

运用至 Python 中，即可请求到需要的数据了。

丢个效果图，溜了。