Python如何爬取视频

这篇文章将为大家详细讲解有关Python如何爬取视频,小编觉得挺实用的,因此分享给大家做个参考,希望大家阅读完这篇文章后可以有所收获。

创新互联专注于于都企业网站建设,成都响应式网站建设公司,商城网站建设。于都网站建设公司,为于都等地区提供建站服务。全流程定制开发,专业设计,全程项目跟踪,创新互联专业和态度为您提供的服务

1.完成这个程序代码需要的Python模块

需要的Python模块有:requests模块、bs4模块、threading模块、sys模块、urllib模块、os模块
下面简要的介绍一下在这个程序中所使用的Python模块的作用:
requests模块:主要用于爬取网页数据;
bs4模块:主要用于解析爬取得到的数据信息;
threading模块:主要用于下载所有的.ts文件,提高下载速度;
sys模块:如果程序中间出现错误,终止整个程序代码,使用sys.exit()方法;
urllib模块:用于对用户输入的信息进行编码,主要使用urllib.parse.urlencode()方法;
os模块:用于得到一个文件夹下面所有的文件(或者文件夹)(在这里是得到文件),使用os.listdir()方法。

2. 爬取视频的链接、简介和名称

首先,我们要来到这个网址下面:YM影视
在搜索栏上面输入一部视频的名称:小编在这里输入的是:斗罗大陆,点击搜索按钮,来到下面的画面:
Python如何爬取视频

接下俩我们需要得到的内容就是这些了,按电脑键盘的F12键,来到开发者工具,可以发现,这些内容和视频的链接在这个标签下面;

Python如何爬取视频

实现代码:两个函数

def get_video_content():  # 得到匹配到的相关电影(或者电视剧)的名称、链接、简介的列表
    video=input('请输入你想看的电影或者电视剧名称:')
    keyword=parse.urlencode({'k':video})[2:]   # 对输入的名称进行编码
    url='http://ymystv.com/seacher-%s.html'%(keyword)
    headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3756.400 QQBrowser/10.5.4039.400'}
    response=requests.get(url=url,headers=headers)
    soup=BeautifulSoup(response.text,'lxml')
    list_1=soup.select('li.activeclearfix')
    # list_1列表里面有的内容为 电影名称(或者电视剧名称)、链接、简介等
    return list_1

def get_video_contents(list_1:list): # 进一步处理得到的内容(解析)
    list_url=[] # 视频的链接
    listName=[] # 视频名称
    for i in range(len(list_1)):
        url=list_1[i].select('div.detail>h4>a')[0]['href']
        url='http://ymystv.com/'+url[url.rfind('./')+2:]
        list_url.append(url)
        name=list_1[i].select('div.detail>h4>a')[0].text
        listName.append(name)
        print('【{}】-{}'.format(i+1,name)) # 电影或者电视剧的名称
        str1=list_1[i].select('div.detail>div.m-description')[0].text # 电影或者电视剧的简介

        # 对简介进行字符串处理,并按照每行最多50个字符输出
        str1='简介:'+str1[str1.find('简  介 :')+6:].strip() # 去空格
        for j in range(len(str1)//50+1):
            print('{}'.format(str1[j*50:(j+1)*50]))
        # print('{}'.format(str1)) # 没处理的输出结果
        print('*'+'--'*36)

    id=int(input('请输入你想看的序号:'))

    return list_url[id-1],listName[id-1]

运行结果:
Python如何爬取视频

之后就是选择我们想看的视频了,我选择的是 龙王传说 也就是上面的序号6,虽然我没有显示出它,
点进去之后,可以发现,这里有许多集,现在需要的就是这些集数的链接了。
跟上面一样,按电脑键盘F12键,来到开发者模式,可以发现,集数在这个标签下面;
Python如何爬取视频

3.得到这个视频的下载链接的json文件

这样我们就可以得到这些视频的播放链接了,那怎样下载呢?我们点击NetWork下面的XHR刷新一下,可以发现,在这里有一个视频接口(你懂的),只要将这个接口和刚才我们得到的一个视频链接组合起来,在浏览器上打开,就是一个json数据,如下:
Python如何爬取视频

我们只需将这个链接得到,并且得到里面使用的.ts文件的下载链接即可。

4.下载所有的.ts文件或者给出.mp4文件的下载链接

这里我运用的多线程下载,不过并不是所有的.ts文件都能播放的,但是合并成.MP4之后,是可以的;如果得到是一个.MP4文件的下载链接,我会将它直接输出,因为一个.mp4文件比较大,运用Python爬虫下载花费的时间比较多,所以这还不如直接运用浏览器下载。

5.合并所有.ts文件
import os

path=input('请输入需要合并的绝对路径:')
list_1=[path+'\{}.ts'.format(str(ij)) for ij in sorted([int(str_1[:str_1.find('.')]) for str_1 in os.listdir(path)])]
for str_2 in list_1:
    with open(file=str_2,mode='rb') as f:
        content=f.read()
    with open(file='./龙王传说_1.mp4',mode='ab') as fp:
        fp.write(content)

合并保存的那个.MP4文件的名称需要我们自己手动修改一下,当然读者也可以改动一个代码,不过,我觉得我的这个合并还不算好,播放的MP4还是有一些问题的,读者如果有什么更好的合并方法,可以在下方留言,谢谢!

6.运行结果和最终代码

运行结果:

运用Python爬虫下载视频

代码:
代码我已经上传到github上了,读者可以自行到上面查看,链接为:
video.py


关于Python如何爬取视频就分享到这里了,希望以上内容可以对大家有一定的帮助,可以学到更多知识。如果觉得文章不错,可以把它分享出去让更多的人看到。


本文标题:Python如何爬取视频
文章起源:http://myzitong.com/article/ipsppp.html