做python数据爬虫怎么爬取数据
这篇文章将为大家详细讲解有关做python数据爬虫怎么爬取数据,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。
十载的任丘网站建设经验,针对设计、前端、开发、售后、文案、推广等六对一服务,响应快,48小时及时工作处理。全网营销推广的优势是能够根据用户设备显示端的尺寸不同,自动调整任丘建站的显示方式,使网站能够适用不同显示终端,在浏览器中调整网站的宽度,无论在任何一种浏览器上浏览网站,都能展现优雅布局与设计,从而大程度地提升浏览体验。成都创新互联公司从事“任丘网站设计”,“任丘网站推广”以来,每个客户项目都认真落实执行。
爬虫简介:
爬虫就是自动获取网页内容的程序,例如搜索引擎,Google,Baidu 等,每天都运行着庞大的爬虫系统,从全世界的网站中爬虫数据,供用户检索时使用。
爬虫流程:
1、模拟请求网页。模拟浏览器,打开目标网站。
2、获取数据。打开网站之后,就可以自动化的获取我们所需要的网站数据。
3、保存数据。拿到数据之后,需要持久化到本地文件或者数据库等存储设备中。
数据爬虫——Requests 使用
Requests 库是 Python 中发起 HTTP 请求的库,使用非常方便简单。
模拟发送 HTTP 请求
发送 GET 请求(当我们用浏览器打开豆瓣首页时,其实发送的最原始的请求就是 GET 请求)
import requests res = requests.get('http://www.douban.com') print(res) print(type(res)) >>>
可以看到,我们得到的是一个 Response 对象。
如果我们要获取网站返回的数据,可以使用 text 或者 content 属性来获取
text:是以字符串的形式返回数据
content:是以二进制的方式返回数据
print(type(res.text)) print(res.text) >>>..... 发送 POST 请求(对于 POST 请求,一般就是提交一个表单) r = requests.post('http://www.xxxx.com', data={"key": "value"})
header 增强
对于有些网站,会拒绝掉没有携带 header 的请求的,所以需要做一些 header 增强。比如:UA,Cookie,host 等等信息。
header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36", "Cookie": "your cookie"} res = requests.get('http://www.xxx.com', headers=header)
解析 HTML
现在我们已经获取到了网页返回的数据,即 HTML 代码,下面就需要解析 HTML,来提取其中有效的信息。BeautifulSoup 是 Python 的一个库,最主要的功能是从网页解析数据。
from bs4 import BeautifulSoup # 导入 BeautifulSoup 的方法 # 可以传入一段字符串,或者传入一个文件句柄。一般都会先用 requests 库获取网页内容,然后使用 soup 解析。 soup = BeautifulSoup(html_doc,'html.parser') # 这里一定要指定解析器,可以使用默认的 html,也可以使用 lxml。 print(soup.prettify()) # 按照标准的缩进格式输出获取的 soup 内容。
XPath 定位
XPath 是 XML 的路径语言,是通过元素和属性进行导航定位的。几种常用的表达式
表达式含义node选择 node 节点的所有子节点/从根节点选取//选取所有当前节点.当前节点..父节点@属性选取text()当前路径下的文本内容,一些简单的例子:
xpath('node') # 选取 node 节点的所有子节点 xpath('/div') # 从根节点上选取 div 元素 xpath('//div') # 选取所有 div 元素 xpath('./div') # 选取当前节点下的 div 元素 xpath('//@id') # 选取所有 id 属性的节点
关于做python数据爬虫怎么爬取数据就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
文章题目:做python数据爬虫怎么爬取数据
文章路径:http://myzitong.com/article/pscgjg.html