使用Python怎么爬取豆瓣电影名
这期内容当中小编将会给大家带来有关使用Python怎么爬取豆瓣电影名,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。
成都创新互联公司专注为客户提供全方位的互联网综合服务,包含不限于网站设计制作、成都网站建设、富平网络推广、成都微信小程序、富平网络营销、富平企业策划、富平品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;成都创新互联公司为所有大学生创业者提供富平建站搭建服务,24小时服务热线:028-86922220,官方网址:www.cdcxhl.com
Python的优点有哪些
1、简单易用,与C/C++、Java、C# 等传统语言相比,Python对代码格式的要求没有那么严格;2、Python属于开源的,所有人都可以看到源代码,并且可以被移植在许多平台上使用;3、Python面向对象,能够支持面向过程编程,也支持面向对象编程;4、Python是一种解释性语言,Python写的程序不需要编译成二进制代码,可以直接从源代码运行程序;5、Python功能强大,拥有的模块众多,基本能够实现所有的常见功能。
一、爬虫豆瓣电影名思路分析
1、爬虫代理
headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit' + '/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36' }
2、获取网络连接
res = requests.get("https://movie.douban.com/top250", headers=headers)
第一个参数就是网址,要确保网址能够打开,第二个参数就是代理。
3、对网址进行解析
soup = BeautifulSoup(res.text, 'lxml')
第一个参数是网站,后缀名".text"是将网站源码转换为文本,方便解析;
第二个参数是解析器,而lxml就是一种解析器,用来解析网站。
4、匹配所有电影名所在的标签
targets = soup.find_all("div", class_="hd")
5、使用简单的for循环,输出标签中的电影名
for each in targets: print(each.a.span.text)
循环输出就可以了,但要注意转换为文本,避免出现乱码的情况。
二、爬虫豆瓣电影名简单代码示例
import requests from bs4 import BeautifulSoup if __name__ == '__main__': headers = { 'user-agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit' + '/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36' } res = requests.get("https://movie.douban.com/top250", headers=headers) print(res.status_code) soup = BeautifulSoup(res.text, 'lxml') targets = soup.find_all("div", class_="hd") for each in targets: print(each.a.span.text
上述就是小编为大家分享的使用Python怎么爬取豆瓣电影名了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注创新互联行业资讯频道。
当前文章:使用Python怎么爬取豆瓣电影名
文章源于:http://myzitong.com/article/jssgoe.html