面对python反爬虫怎么进行ip切换-创新互联

小编给大家分享一下面对python反爬虫怎么进行ip切换,希望大家阅读完这篇文章后大所收获,下面让我们一起去探讨吧!

成都创新互联是一家专业提供福安企业网站建设,专注与成都做网站、网站设计、外贸营销网站建设html5、小程序制作等业务。10年已为福安众多企业、政府机构等服务。创新互联专业网站设计公司优惠进行中。

调试开多少个线程,多长时间拨号切换IP一次最优。每个网站对短时间内访问次数的屏蔽策略不一样,这需要实际测试,找出抓取效率较大化的时间点。先开一个线程,一直抓取到IP被屏蔽,记录下抓取耗时,总抓取次数,和成功抓取次数。 再开2个线程,重复上面步骤,记录抓取耗时,总的和成功的抓取次数。再开4个线程,重复上面步骤。整理成一个表格如下,下图是我抓天眼查时,统计抓取极限和细节调优的表格

面对python反爬虫怎么进行ip切换


从上图比较可以看出,当有6个线程时,是比较好的情况。耗时6秒,成功抓取80-110次。

开多少个线程调试出来了,那多久拨号一次呢?

从上面的图片看到,貌似每隔6秒拨号是一个不错的选择。可以这样做,但是我选了另一个度量单位,就是每总抓取120次就重新拨号。为什么这样选呢?从上图也能看到,基本抓到120次左右就会被屏蔽,每隔6秒拨号其实误差比较大,因为网络延迟等各种问题,导致6秒内可能抓100次,也可能抓120次。

看完了这篇文章,相信你对面对python反爬虫怎么进行ip切换有了一定的了解,想了解更多相关知识,欢迎关注创新互联行业资讯频道,感谢各位的阅读!


文章名称:面对python反爬虫怎么进行ip切换-创新互联
当前网址:http://myzitong.com/article/doigcp.html