一、分析页面结构
打开开发者工具，获取页面源代码
视频第三方页面地址.png
我们进入这个iframe的src地址中：
iframe_src.png
我们发现该页面中只有一个视频在播放，正是我们想要的，我们继续分析该页面的源码，搜一搜看看有没有m3u8的文件类型
搜索m3u8.png
发现页面里正好有两个m3u8文件，这时候我们去抓包工具里看看这两个url对应的resp是什么东西
playlist_m3u8.png
对应的response如下：
laylist_resp.png
目测应该是我们想要的
可以开始准备爬取了
二、爬取视频的思路：
1.首先获取视频页面html中的iframe标签内的src中的内容
2.根据请求src中的url，在得到的响应中获得playlist中对应的m3u8地址；
4.使用异步协程批量下载m3u8中的ts文件
5.使用剪辑工具拼接好下载的ts文件
三、实施计划
1.得到iframe中的src，按标签查内容的话可以使用beautifulsoup：
def get_iframe_src(main_url):
resp=requests.get(main_url)
#匹配到iframe标签中的src
page = BeautifulSoup(resp.text,'html.parser')
src = page.find('iframe').get('src')
return src;
2.请求src中的url，在相应页面中得到playlist对应的m3u8地址
（由于这里的m3u8地址是在js脚本中，这里的匹配我们选用正则表达式来匹配）：
def get_playlist_m3u8_url(url):
resp=requests.get(url)
obj=re.compile(r'var playlist.*?"url":"(?P<m3u8_url>.*?)"}',re.S)
m3u8_url_playlist=obj.search(resp.text).group('m3u8_url')
m3u8_url_playlist #/20220218/5TQqukCg/2000kb/hls/index.m3u8
return m3u8_url_playlist;
3.下载m3u8文件：这里由于我们得到的地址是相对地址，需要我们手动拼接，详细见源码
def download_m3u8_file(m3u8_url):
resp=requests.get(m3u8_url);
with open('测试_m3u8.txt',mode='w',encoding='utf-8') as f:
f.write(resp.text)
print('测试_m3u8.txt下载完成')
4.下载好m3u8文件后，我们开始批量下载m3u8文件里的内容，这里也需要我们拼接出绝对地址
（这里涉及协程代码，我也正在学习中）
async def aio_download(up_url):
tasks=[]
async with aiohttp.ClientSession() as session:
async with aiofiles.open('测试_m3u8.txt',mode='r',encoding='utf-8') as f:
async for line in f:
if not line.startswith('#'):
line=line.strip();
ts_url = up_url +line;
name=line.split('/')[-1]
#开始封装一个一个的下载任务
task=asyncio.create_task(ts_download(ts_url,name,session))#ts_download(ts_url,name,session)这个函数是下载ts文件的函数，在下面哦
tasks.append(task)
await asyncio.wait(tasks)
5.下载ts文件
async def ts_download(ts_url,name,session):
'''下载ts文件'''
async with session.get(ts_url) as resp:
async with aiofiles.open(f'测试/{name}',mode='wb') as f:
await f.write(await resp.content.read())
print(f'{name}下载完毕');
6.下载完毕ts文件之后，就需要我们来拼接所有的ts文件了
但我这里拼接暂时出现了问题，提示代码行过长，还没有想到解决办法
7.最后放上下载好的ts文件的截图
ts.png
源码github地址：https://github.com/ZdwCode/getVideo
