Python爬虫之App爬虫视频下载的实现_Python

Python爬虫之App爬虫视频下载的实现

2021-08-11 00:20陌小 Python

这篇文章主要介绍了Python爬虫之App爬虫视频下载的实现，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧

前言

随着手app的发展逐渐强大，我们手机应用每天的生活也是非常的多。那我们怎么知道他的数据是怎么形成的，通过电脑端如何爬取。相信大家也有这样的问题。下面我将讲解这些操作流程。

一、操作流程

首先我们要有

fidder4
夜神模拟器
pycharm
python3.0或以上版本

二、fidder4抓包

1.fidder配置

首先我们先下载fidder，
打开fiddler，点击tools => options 打开配置选项，切换到第二个标签页https，先在这里打勾

Python爬虫之App爬虫视频下载的实现

然后就是点下面如图所示的单选框，点击actions，运行第一个trust root certificate。后面会有一个框，记得点击确定。

Python爬虫之App爬虫视频下载的实现

打开fiddler，点击tools => options… 打开配置选项，切换到第三个标签页connections，修改如图所示的地方，端口号可任意修改，这里使用我自定的9999，请记住自己设置的端口号，后面有需要使用的地方。

Python爬虫之App爬虫视频下载的实现

2.模拟器配置

我们为什么使用模拟器，因为由于fidder抓包，要在局域网环境下，我们大部分电脑都是以宽带连接，所以我这里就以模拟器讲解抓包，后续我会更新一期fidder手机抓包。

这里们先打模拟器，设置模拟器的代理。我们先查看自己的本机ip，通过cmd命令输入ipconfig即可查看本机的ip，我的本机ip是192.168.1.2

Python爬虫之App爬虫视频下载的实现

这里打开模拟器的设置，找到我们wlan用点击，我们看到我们的wifi,用鼠标点击时间长一点，它会出现设置的，下面我用视频给大家看一下

Python爬虫之App爬虫视频下载的实现

我们本机ip进行代理哦

Python爬虫之App爬虫视频下载的实现

3.模拟器证书安装

我们用模拟器打开浏览器，输入我们本机ip加端口，就是 192.168.1.2:9999

Python爬虫之App爬虫视频下载的实现

点击这个下载证书，下载完成后安装证书，命名随便命名。密码自己要记入。
上述如果都做成功了，应该就没什么问题了。

三、fidder4解析视频网站

Python爬虫之App爬虫视频下载的实现

这是我们模拟器里的app，app名字我会在下面评论发出。

Python爬虫之App爬虫视频下载的实现

这里的所和上面的正好相对应，这里相信我们大家都找到了，
我们可以把fidder抓包到的数据在这里，这个是我们的数据网址
https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=1
我们通过模拟器视频往下滑，可以知道它是分页的，那样会有好多小姐姐视频哦，
https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page=2
这里就是第二页的数据，这个时候就可以通过pycharm进行解析了。

pycharm编写app代码

				?

									import requests

									import json

									def demo(page):

									 url='https://v.6.cn/coop/mobile/index.php?act=recommend&padapi=minivideo-getlist.php&page={}'.format(page)

									 header={

									  'user-agent':'xy0xdgixdas)wgtothphtn5aquvfdxlocrwsdehx5pgqfmlho6n22d)bw973lz13w2)xlze8pkepeedbtgmu4rict3kqenei04atjcbg2vsnecvovttmtxpq7r)svtoadnlqmaxf1b6hfigkhxgo(f)rcw@@'

									 }

									 response = requests.get(url,headers=header,verify=false).json()

									 data=response['content']['list']   #由于网站是json数据我们可以通过json解析，然后在进行数据的爬取

									 for i in data:

									  title =i['title'] #这里爬取的是视频标题

									  playurl=i['playurl']  #这里是爬取是的视频的url

									  video(title,playurl)

									def video(title,playurl):

									 header = {

									  'user-agent': 'xy0xdgixdas)wgtothphtn5aquvfdxlocrwsdehx5pgqfmlho6n22d)bw973lz13w2)xlze8pkepeedbtgmu4rict3kqenei04atjcbg2vsnecvovttmtxpq7r)svtoadnlqmaxf1b6hfigkhxgo(f)rcw@@'

									 }

									 response = requests.get(playurl,headers=header,verify=false)

									 # 文件写入异常机制

									 try:

									    #由于写入可以会有点出错，我们要加一个异常处理机制，这样可以提高我们的程序性能。

									  with open('video/{}.mp4'.format(title),'ab') as f:

									   f.write(response.content)

									 except exception as e:

									  print(e)

									for i in range(1,11):

									 demo(i)