使用python如何随心所欲地爬取百度图片-创新互联

小编给大家分享一下使用python如何随心所欲地爬取百度图片,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

创新互联建站主要为客户提供服务项目涵盖了网页视觉设计、VI标志设计、成都全网营销推广、网站程序开发、HTML5响应式重庆网站建设公司手机网站开发、微商城、网站托管及成都网站维护、WEB系统开发、域名注册、国内外服务器租用、视频、平面设计、SEO优化排名。设计、前端、后端三个建站步骤的完善服务体系。一人跟踪测试的建站服务标准。已经为被动防护网行业客户提供了网站制作服务。

一、前言

之前爬取了很多静态网页的内容,包括:小说、图片等等,今天我来尝试一下动态网页的爬取。

二、需要导入的库

import requestsimport jsonimport os

三、实现过程

1、下载链接分析

首先,打开百度,搜索一个内容,这里搜索的是男神(本人 )——彭于晏
使用python如何随心所欲地爬取百度图片
然后,打开抓包工具,选择XHR选项,按Ctrl+R,然后你会发现,随着你鼠标的滑动,右侧会出现一个又一个的数据包。
使用python如何随心所欲地爬取百度图片
(这里没滑动太多,一开始因为滑动太多,录的GIF超5M了)

然后,选一个包,查看它的headers,如图:
使用python如何随心所欲地爬取百度图片

截取之后,粘贴在记事本上,作为一个URL,后文会用到。
使用python如何随心所欲地爬取百度图片
这里有很多很多的参数,我也不知道具体哪些是可以忽略的,后文就索性全复制下来了,具体看后文。

到这里,能够直接观察到的内容就结束了,接下来,借助代码,帮我们打开另一个世界的大门

冲就完事了!

2、代码分析

首先:把上述中的“其它参数”组在一起。

自己做的话,好复制自己的“其它参数”。

之后,我们可以先提取一下试试,并且把编码格式改成'utf-8'

 url = 'https://image.baidu.com/search/acjson?'
    param = {
        'tn': 'resultjson_com',
        'logid': ' 7517080705015306512',
        'ipn': 'rj',
        'ct': '201326592',
        'is': '',
        'fp': 'result',
        'queryWord': '彭于晏',
        'cl': '2',
        'lm': '-1',
        'ie': 'utf-8',
        'oe': 'utf-8',
        'adpicid': '',
        'st': '',
        'z': '',
        'ic': '',
        'hd': '',
        'latest': '',
        'copyright': '',
        'word': '彭于晏',
        's': '',
        'se': '',
        'tab': '',
        'width': '',
        'height': '',
        'face': '',
        'istype': '',
        'qc': '',
        'nc': '1',
        'fr': '',
        'expermode': '',
        'force': '',
        'cg': 'star',
        'pn': '30',
        'rn': '30',
        'gsm': '1e',
    }
    # 将编码形式转换为utf-8
    response = requests.get(url=url, headers=header, params=param)
    response.encoding = 'utf-8'
    response = response.text    print(response)

运行结果如下:
使用python如何随心所欲地爬取百度图片
看上去挺乱的哈,没事,我们给包装一下!

在上面的基础上加上:

 # 把字符串转换成json数据
    data_s = json.loads(response)
    print(data_s)

运行结果如下:
使用python如何随心所欲地爬取百度图片
和上面相比,已经明晰很多了,但依旧不够明确,为什么呢?因为它打印的格式不方便我们观看!

对此,有两种解决办法。

①导入pprint库,接着输入pprint.pprint(data_s),就能打印啦,如下图

使用python如何随心所欲地爬取百度图片

②使用json在线解析器(自行百度),结果如下:
使用python如何随心所欲地爬取百度图片

解决掉上一步,我们会发现,想要的数据都在data里面!

那么就提取吧!

 a = data_s["data"]
    for i in range(len(a)-1):  # -1是为了去掉上面那个空数据
        data = a[i].get("thumbURL", "not exist")
        print(data)

结果如下:
使用python如何随心所欲地爬取百度图片
到这里,已经成功90%啦,剩下的就是保存和优化代码了!

3、完整代码

这部分和上面有些许不同,仔细看看就会发现嗷!

# -*- coding: UTF-8 -*-"""
@Author  :远方的星
@Time   : 2021/2/27 17:49
@CSDN    :https://blog.csdn.net/qq_44921056
@腾讯云   : https://cloud.tencent.com/developer/user/8320044
"""import requestsimport jsonimport osimport pprint# 创建一个文件夹path = 'D:/百度图片'if not os.path.exists(path):
    os.mkdir(path)# 导入一个请求头header = {
    'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_1_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.88 Safari/537.36'}# 用户(自己)输入信息指令keyword = input('请输入你想下载的内容:')page = input('请输入你想爬取的页数:')page = int(page) + 1n = 0pn = 1# pn代表从第几张图片开始获取,百度图片下滑时默认一次性显示30张for m in range(1, page):
    url = 'https://image.baidu.com/search/acjson?'
    param = {
        'tn': 'resultjson_com',
        'logid': ' 7517080705015306512',
        'ipn': 'rj',
        'ct': '201326592',
        'is': '',
        'fp': 'result',
        'queryWord': keyword,
        'cl': '2',
        'lm': '-1',
        'ie': 'utf-8',
        'oe': 'utf-8',
        'adpicid': '',
        'st': '',
        'z': '',
        'ic': '',
        'hd': '',
        'latest': '',
        'copyright': '',
        'word': keyword,
        's': '',
        'se': '',
        'tab': '',
        'width': '',
        'height': '',
        'face': '',
        'istype': '',
        'qc': '',
        'nc': '1',
        'fr': '',
        'expermode': '',
        'force': '',
        'cg': 'star',
        'pn': pn,
        'rn': '30',
        'gsm': '1e',
    }
    # 定义一个空列表,用于存放图片的URL
    image_url = list()
    # 将编码形式转换为utf-8
    response = requests.get(url=url, headers=header, params=param)
    response.encoding = 'utf-8'
    response = response.text    # 把字符串转换成json数据
    data_s = json.loads(response)
    a = data_s["data"]  # 提取data里的数据
    for i in range(len(a)-1):  # 去掉最后一个空数据
        data = a[i].get("thumbURL", "not exist")  # 防止报错key error
        image_url.append(data)

    for image_src in image_url:
        image_data = requests.get(url=image_src, headers=header).content  # 提取图片内容数据
        image_name = '{}'.format(n+1) + '.jpg'  # 图片名
        image_path = path + '/' + image_name  # 图片保存路径
        with open(image_path, 'wb') as f:  # 保存数据
            f.write(image_data)
            print(image_name, '下载成功啦!!!')
            f.close()
        n += 1
    pn += 29

运行结果如下:
使用python如何随心所欲地爬取百度图片
使用python如何随心所欲地爬取百度图片
友情提示
①:一页是30张
②:输入的内容可以很多变:比如桥、月亮、太阳、胡歌、赵丽颖等等。

以上是“使用python如何随心所欲地爬取百度图片”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!


网站栏目:使用python如何随心所欲地爬取百度图片-创新互联
分享路径:http://myzitong.com/article/dggsed.html