python爬虫实例之怎么快速响应服务器-创新互联

这篇文章给大家分享的是有关python爬虫实例之怎么快速响应服务器的内容。小编觉得挺实用的,因此分享给大家做个参考。一起跟随小编过来看看吧。

让客户满意是我们工作的目标,不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户,将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴,公司提供的服务项目有:国际域名空间、虚拟空间、营销软件、网站建设、罗定网站维护、网站推广。

requests之所以称为“HTTP for human”,因为其封装层次很高,其中一处体现就在:requests会自动处理服务器响应的重定向。我在做搜狗微信公众号抓取的时候,搜狗搜索列表页面的公众号文章地址,其实不是微信的地址而需要请求到搜狗到服务器做重定向,而requests的默认处理则是将整个过程全部搞定,对此可以这样:

In [1]: r = requests.get('http://xlzd.me', allow_redirects=False)

allow_redirects参数为False则表示不会主动重定向。


另外,有时候对方网站的响应时间太长了,我们希望在指定时间内完事,或者直接停止这个请求,这时候的做法是:

In [1]: r = requests.get('http://xlzd.me', timeout=3)

timeout表示这次请求最长我最长只等待多少秒


拓展:

为requests套上一层代理的做法也非常简单:

import requests
 
proxies = {
  "http": "http://192.168.31.1:3128",
  "https": "http://10.10.1.10:1080",
}
 
requests.get("http://xlzd.me", proxies=proxies)

感谢各位的阅读!关于python爬虫实例之怎么快速响应服务器就分享到这里了,希望以上内容可以对大家有一定的帮助,让大家可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到吧!


分享题目:python爬虫实例之怎么快速响应服务器-创新互联
链接URL:http://myzitong.com/article/ddeiso.html