Python中怎么实现一个网络爬虫
这篇文章给大家介绍Python中怎么实现一个网络爬虫,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。
让客户满意是我们工作的目标,不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户,将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴,公司提供的服务项目有:空间域名、网络空间、营销软件、网站建设、班玛网站维护、网站推广。
第一部分:
获取网页信息:
import requests url = "https://voice.baidu.com/act/newpneumonia/newpneumonia" response = requests.get(url)
第二部分:
可以观察数据的特点: 数据包含在script
标签里,使用xpath
来获取数据。 导入一个模块 from lxml import etree
生成一个html
对象并且进行解析 可以得到一个类型为list
的内容,使用第一项就可以得到全部内容 接下来首先获取component
的内容,这时使用json
模块,将字符串类型转变为字典(Python
的数据结构) 为了获取国内的数据,需要在component
中找到caseList
接下来上代码:
from lxml import etree import json # 生成HTML对象 html = etree.HTML(response.text) result = html.xpath('//script[@type="application/json"]/text()') result = result[0] # json.load()方法可以将字符串转化为python数据类型 result = json.loads(result) result_in = result['component'][0]['caseList']
第三部分:
将国内的数据存储到excel
表格中: 使用openyxl
模块,import openpyxl
首先创建一个工作簿,在工作簿下创建一个工作表 接下来给工作表命名和给工作表赋予属性
代码如下:
import openpyxl #创建工作簿 wb = openpyxl.Workbook() #创建工作表 ws = wb.active ws.title = "国内疫情" ws.append(['省份', '累计确诊', '死亡', '治愈', '现有确诊', '累计确诊增量', '死亡增量', '治愈增量', '现有确诊增量']) ''' area --> 大多为省份 city --> 城市 confirmed --> 累计 crued --> 值域 relativeTime --> confirmedRelative --> 累计的增量 curedRelative --> 值域的增量 curConfirm --> 现有确镇 curConfirmRelative --> 现有确镇的增量 ''' for each in result_in: temp_list = [each['area'], each['confirmed'], each['died'], each['crued'], each['curConfirm'], each['confirmedRelative'], each['diedRelative'], each['curedRelative'], each['curConfirmRelative']] for i in range(len(temp_list)): if temp_list[i] == '': temp_list[i] = '0' ws.append(temp_list) wb.save('./data.xlsx')
第四部分:
将国外数据存储到excel
中: 在component
的globalList
中得到国外的数据 然后创建excel
表格中的sheet
即可,分别表示不同的大洲
代码如下:
data_out = result['component'][0]['globalList'] for each in data_out: sheet_title = each['area'] # 创建一个新的工作表 ws_out = wb.create_sheet(sheet_title) ws_out.append(['国家', '累计确诊', '死亡', '治愈', '现有确诊', '累计确诊增量']) for country in each['subList']: list_temp = [country['country'], country['confirmed'], country['died'], country['crued'], country['curConfirm'], country['confirmedRelative']] for i in range(len(list_temp)): if list_temp[i] == '': list_temp[i] = '0' ws_out.append(list_temp) wb.save('./data.xlsx')
整体代码如下:
import requests from lxml import etree import json import openpyxl url = "https://voice.baidu.com/act/newpneumonia/newpneumonia" response = requests.get(url) #print(response.text) # 生成HTML对象 html = etree.HTML(response.text) result = html.xpath('//script[@type="application/json"]/text()') result = result[0] # json.load()方法可以将字符串转化为python数据类型 result = json.loads(result) #创建工作簿 wb = openpyxl.Workbook() #创建工作表 ws = wb.active ws.title = "国内疫情" ws.append(['省份', '累计确诊', '死亡', '治愈', '现有确诊', '累计确诊增量', '死亡增量', '治愈增量', '现有确诊增量']) result_in = result['component'][0]['caseList'] data_out = result['component'][0]['globalList'] ''' area --> 大多为省份 city --> 城市 confirmed --> 累计 crued --> 值域 relativeTime --> confirmedRelative --> 累计的增量 curedRelative --> 值域的增量 curConfirm --> 现有确镇 curConfirmRelative --> 现有确镇的增量 ''' for each in result_in: temp_list = [each['area'], each['confirmed'], each['died'], each['crued'], each['curConfirm'], each['confirmedRelative'], each['diedRelative'], each['curedRelative'], each['curConfirmRelative']] for i in range(len(temp_list)): if temp_list[i] == '': temp_list[i] = '0' ws.append(temp_list) # 获取国外疫情数据 for each in data_out: sheet_title = each['area'] # 创建一个新的工作表 ws_out = wb.create_sheet(sheet_title) ws_out.append(['国家', '累计确诊', '死亡', '治愈', '现有确诊', '累计确诊增量']) for country in each['subList']: list_temp = [country['country'], country['confirmed'], country['died'], country['crued'], country['curConfirm'], country['confirmedRelative']] for i in range(len(list_temp)): if list_temp[i] == '': list_temp[i] = '0' ws_out.append(list_temp) wb.save('./data.xlsx')
结果如下:
国内:
国外:
推荐 :
020 持续更新,精品小圈子每日都有新内容,干货浓度极高。
结实人脉、讨论技术 你想要的这里都有!
抢先入群,跑赢同龄人!(入群无需任何费用)
点击此处,与Python开发大牛一起交流学习
群号:858157650
申请即送:
Python软件安装包,Python实战教程
资料免费领取,包括 Python基础学习、进阶学习、爬虫、人工智能、自动化运维、自动化测试等
关于Python中怎么实现一个网络爬虫就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。
网页题目:Python中怎么实现一个网络爬虫
网站URL:http://myzitong.com/article/gcoiei.html