python如何使用requests+re
python如何使用requests+re,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。
目前成都创新互联公司已为千余家的企业提供了网站建设、域名、虚拟空间、绵阳服务器托管、企业网站设计、揭西网站维护等服务,公司将坚持客户导向、应用为本的策略,正道将秉承"和谐、参与、激情"的文化,与客户和合作伙伴齐心协力一起成长,共同发展。
在学习了python基础后,一心想着快速入门爬虫,因为我就是为爬虫而学的python,所以就找了这个豆瓣电影来爬取。好了,废话不多说,进入正题
1.找到网页并分析网页结构
首先进入豆瓣电影Top250这个网页,按下f12打开开发者工具,如下图
然后开始分析网页,点击开发者工具左上角的有个箭头的东西去找你需要找的数据,在这里我发现每个电影的信息都是在
我们可以先用开发者工具的箭头点一下后页,然后就显示右边的箭头数据出来,这里我们也可以用正则表达式来获取下一页的链接,然后接下来的工作就是循环了,好了分析结束,开始敲代码吧!
2.用面向对象的方法进行爬取数据
先用requests对网页进行请求,获取网页的html结构,在这里,为了防止网页的反爬虫技术,我加了个请求头(记得使用requests库之前先导入,没有的可以在命令行通过 pip install requests进行下载)
请求头在开发者工具中查看,如下图所示
接下用正则表达式进行获取数据
先匹配每一个电影和每一页数据(使用正则表达式的库是re)
接下来获取每个电影的数据
注意:获取到上面的数据,有的是空的,所以还需要进行判断是否为空,为了好看,我用了三元表达式进行判断,完成之后把他们存入字典
接下来就是进行循环取下一页的数据了
3.如果你有点数据库基础的话,还可以把他们存入数据库,在这里我把这些数据存入MySQL数据库,代码如下,需要自己先建好数据库好表格
这是操作数据库的类(使用的库为pymysql)
然后回到爬虫类进行把数据存入数据库
4.成功后你就会在数据库中查到以下数据
看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注创新互联行业资讯频道,感谢您对创新互联的支持。
本文题目:python如何使用requests+re
转载来源:http://myzitong.com/article/pcocjj.html