如何使用代理服务器爬取数据
这篇文章将为大家详细讲解有关如何使用代理服务器爬取数据,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。
创新互联响应式网站特点就是不管在电脑、平板还是手机上,H5场景定制都会根据屏幕尺寸自动调节大小、图片分辨率,并且融入一定的动画特效,让网站看起来非常的美观大方。从网站需求对接到网站制作设计、从代码编写到项目上线运维,技术人员全程跟踪,快速响应
1、爬取步骤
(1)导入程序所需的库。使用代理服务器,可以新设函数(use_proxy)参数分别登录的网站和必要的代理服务器地址。然后定义代理服务器的具体IP地址和端口号。建立opener,其中opener需要添加相应的参数,即IP对象和urlib.request.HTTPHandler(固定)。然后将opener对象添加到全局对象。使用urlopen(url)打开特定的网站。
(2)输入代理服务器的IP地址和端口号,输入打开的网页url,使用use_proxy()函数返回所需的data,因为数据很多,所以只显示数据的长度。
2、实例
import urllib.request def use_proxy(url,proxy_addr): proxy=urllib.request.ProxyHandler({"http":proxy_addr}) opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandler) urllib.request.install_opener(opener) data=urllib.request.urlopen(url).read().decode("utf-8","ignore") return data proxy_addr="112.85.130.14:9999" url="http://www.baidu.com" data=use_proxy(url,proxy_addr) print(len(data))
关于如何使用代理服务器爬取数据就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
分享文章:如何使用代理服务器爬取数据
URL分享:http://myzitong.com/article/iespdh.html