url下载器如何在python爬虫中使用-创新互联
本篇文章为大家展示了url下载器如何在python爬虫中使用,内容简明扼要并且容易理解,绝对能使你眼前一亮,通过这篇文章的详细介绍希望你能有所收获。
为朝阳县等地区用户提供了全套网页设计制作服务,及朝阳县网站建设行业解决方案。主营业务为网站建设、成都网站制作、朝阳县网站设计,以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!下载器的作用就是接受URL管理器传递给它的一个url,然后把该网页的内容下载下来。python自带有urllib和urllib2等库(这两个库在python3中合并为urllib),它们的作用就是获取指定的网页内容。不过,在这里我们要使用一个更加简洁好用而且功能更加强大的模块:Requests。
Requests并非python自带模块,需要安装。关于其具体使用方法请查看以往文章,在此不多做介绍。
下载器接受一个url作为参数,返回值为下载到的网页内容(格式为str)。下面就是一个简单的下载器,其中只有一个简单的函数download():
''' ----------------------------------------------------------------- HtmlDownloader ''' class HtmlDownloader(object): def download(self, url): print "start download" if url is None: return None print "url is None" user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.108 Safari/537.36' headers = {'User-Agent':user_agent} print "start requests" r = requests.get(url, headers=headers) #判断响应状态 if r.status_code == 200: r.encoding = 'utf-8' print "该页面下载成功!{}".format(url) return r.text else: print "该页面下载失败!{}".format(url) return None
在requests请求中设置User-Agent的目的是伪装成浏览器,这是一只优秀的爬虫应该有的觉悟。
有些小伙伴已经猜出来了,requests库和我们的爬取数据密不可分,搭配着url下载器我们就可以成功抓取想要的数据了
知识点扩展:
url下载器
URL下载器应该包含两个仓库,分别存放没有爬取过的链接和已经爬取过的链接。
应该有一些函数负责往上述两个仓库里添加链接
应该有一个函数负责从新url仓库中随机取出一条链接以便下载器爬取
URL下载器应该能识别重复的链接,已经爬取过的链接就不需要放进仓库了
上述内容就是url下载器如何在python爬虫中使用,你们学到知识或技能了吗?如果还想学到更多技能或者丰富自己的知识储备,欢迎关注创新互联行业资讯频道。
名称栏目:url下载器如何在python爬虫中使用-创新互联
路径分享:http://myzitong.com/article/pjgcc.html