这两天在爬TX的视频的原始下载地址，遇到的问题挺多，感觉这个网站的规律变化多端的，中间也忘了修改过多少次代码了，而且有时候抓包也抓不到一些想要的内容，最后也只能抓到一些像《拜托啦学妹》、《国产整蛊大师》类似的小视频，长时间的视频最后我看了一下只能拿到前五分钟的视频，现在先记录一下，供后续再研究。
我是利用Chrome直接进行抓包的，可以拿到视频的真实地址(ps.但是后续多次尝试其他小视频竟然抓不到这个真实地址，不知道什么原因)：
分析-01.png
http://203.205.148.155/vhot2.qqvideo.tc.qq.com/AXTAonPSZxrOwR7IS-ihDRKKiNXe1AI29z6NWNjAUHzQ/u0559hfpsi7.mp4?sdtfrom=v1104&guid=c05f836b267c173e684cec6410185d3b&vkey=9DB055870FCCE159D79ECF6ACD62777A7783FEC58EB4D18F8B3B54164BF7085FDC5E097BF150ADBE2522011A739A844B6AF7FABF6A72D3D9C32E443A11677BBF33E4946EAB82723509823A4045888AE6C5EF367FC4E92603CFFD593945ED4CD9EC1808A02E0B98391D902371DA83641F0173E69E71E1CF50&platform=2
可以进行简化：
http://203.205.148.155/vhot2.qqvideo.tc.qq.com/u0559hfpsi7.mp4?vkey=9DB055870FCCE159D79ECF6ACD62777A7783FEC58EB4D18F8B3B54164BF7085FDC5E097BF150ADBE2522011A739A844B6AF7FABF6A72D3D9C32E443A11677BBF33E4946EAB82723509823A4045888AE6C5EF367FC4E92603CFFD593945ED4CD9EC1808A02E0B98391D902371DA83641F0173E69E71E1CF50
可以简单的分为两部分：
前半部分：http://203.205.148.155/vhot2.qqvideo.tc.qq.com
后半部分：vid.视频格式?vkey=...
vid的值可以根据输入的小视频所在的网页网址获得；而前半部分以及后半部分的vkey(同一个视频不同次请求vkey是不同的)就要根据抓其他包来获得了：
分析-02.png
可以看看抓到的这个包的返回值：
分析-03.png
前半部分可以在url中拿到（可能存在多个），后半部分可以通过keyid和fvkey拼接拿到。
然后我就再回头看如何请求这个URL，参数很多，我也进行了多次尝试：
https://vv.video.qq.com/getinfo?callback=txplayerJsonpCallBack_getinfo_502855&&charge=0&defaultfmt=auto&otype=json&guid=c05f836b267c173e684cec6410185d3b&flowid=16326941443e441cde6cc6bc8600a4e8_70201&platform=70201&sdtfrom=v1104&defnpayver=0&appVer=3.3.125&host=v.qq.com&ehost=https%3A%2F%2Fv.qq.com%2F&sphttps=1&_rnd=1507894470&spwm=4&unid=d2b03881abf611e79d19a042d42c850a&vid=u0559hfpsi7&defn=&fhdswitch=0&show1080p=0&isHLS=1&dtype=3&sphls=1&defsrc=1&_qv_rmt=4N45ERvoA10847LFR%3D&_qv_rmt2=sOgo9dd11579401rg%3D&_1507894470324=
如何拿到这些参数进行请求是个问题，而且当我想进行一些适当的参数删减的时候发现我拿到的fvkey并不是完整的（个数少了很多），在这个问题上纠结了很多，最后在搜索，把一些参数固定住，简化成这样了：
https://av.video.qq.com/getinfo?callback=JsonpCallBack&&charge=0&defaultfmt=auto&otype=json&guid=c05f836b267c173e684cec6410185d3b&platform=70201&sdtfrom=v1104&defnpayver=0&appVer=3.3.128&host=v.qq.com&ehost=https%3A%2F%2Fv.qq.com%2F&_rnd=1507969615&spwm=4&vid={}&_qv_rmt=ZHrqJgF6A10991DBb%3D&_qv_rmt2=y%2FlweBl0157665zsQ%3D&_1507969615506='.format(vid)
然后就开始写代码了：
import requests
from requests.exceptions import RequestException
import re
import json
headers={
'Accept-Encoding':'identity;q=1, *;q=0',
'Accept-Language':'zh-CN,zh;q=0.8',
'Accept':'*/*',
'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
}
#这一部分是为了得到网页源代码
def get_html(url):
response=requests.get(url,headers=headers)
try:
if response.status_code==200:
return response.text
return None
except RequestException as e:
print(e)
return None
#这一部分是为了得到参数vid
def parse_part_1(url):
try:
vid=url.split('/')[-1].split('.')[0]
print('解析URL第一部分vid:'+vid)
return vid
except Exception:
print('解析vid失败')
#这一部分是为了得到keyid、vkey、title、pre_url
def parse_part_2(html):
try:
pattern=re.compile('JsonpCallBack\((.*)\)',re.S)
data=re.search(pattern,html).group(1)
data=json.loads(data)
keyid=data.get('vl').get('vi')[0].get('cl').get('ci')[0].get('keyid')
if len(keyid.split('.'))==3:
if '10' in keyid:
keyid=keyid.replace('10', 'p')
else:
keyid=list(keyid)
keyid[12]='p'
keyid=''.join(keyid)
else:
keyid=keyid
print('解析URL第二部分keyid:'+keyid)
vkey=data.get('vl').get('vi')[0].get('fvkey')
print('解析URL第二部分vkey:'+vkey)
title=data.get('vl').get('vi')[0].get('ti')
# print('解析URL第二部分title:' + title)
for i in range(4):
pre_url=data.get('vl').get('vi')[0].get('ul').get('ui')[i].get('url')
print('解析URL第二部分pre_url:'+pre_url)
yield {
'keyid':keyid,
'pre_url':pre_url,
'vkey':vkey,
'ti':title
}
except Exception:
print('解析vkey失败')
#主程序
def main(url):
try:
vid=parse_part_1(url)
if vid:
url='https://av.video.qq.com/getinfo?callback=JsonpCallBack&&charge=0&defaultfmt=auto&otype=json&guid=c05f836b267c173e684cec6410185d3b&platform=70201&sdtfrom=v1104&defnpayver=0&appVer=3.3.128&host=v.qq.com&ehost=https%3A%2F%2Fv.qq.com%2F&_rnd=1507969615&spwm=4&vid={}&_qv_rmt=ZHrqJgF6A10991DBb%3D&_qv_rmt2=y%2FlweBl0157665zsQ%3D&_1507969615506='.format(vid)
html=get_html(url)
if html:
for each in parse_part_2(html):
keyid=each.get('keyid')
pre_url=each.get('pre_url')
vkey=each.get('vkey')
title=each.get('ti')
url=pre_url+str(keyid)+'.mp4?vkey='+str(vkey)
print('=====视频:{0}=====下载URL:{1}'.format(title,url)+'\n')
except Exception:
print('解析视频下载URL失败')
if __name__=='__main__':
print('温馨提醒：e.g. https://v.qq.com/x/page/g0024s8pd38.html' )
url=input('请输入腾讯视频地址:')
main(url)
运行后的结果,得到的下载地址有多个，可随便打开一个：
运行结果-02.png
运行结果-01.png
运行结果-04.png
运行结果-03.png
现在程序还是存在一定问题，比如keyid的讨论，比如不能得到大文件的完整视频，待后续进行研究。
