首先打开小视频 的网页
url = http://vc.bilibili.com/p/eden/rank#/?tab=%E5%85%A8%E9%83%A8
然后我们来分析下url:
点击排行榜,默认全部显示,往下拉滚动条,发现网页是动态加载的,然后我们打开审查元素(快捷键F12),这里我用的是火狐浏览器,先清空然后往下拉进度条,就出来了动态加载的所有信息:
找到下图所示的内容
这个就是动态加载的内容,我们点击它,看下它有些什么东西
响应里面,可以看到是json格式保存的内容,包括视频的简介,视频url等等,而这些就是我们今天的目标了!
我们先来获取消息头里面的真实网址!
观察规律找到翻页的控制参数和请求模式,next_offset=后面控制视频的加载,以10的倍数翻页,请求模式为get
我们可以开始写代码了!
首先导入模块,我们今天要用到的模块很少
import requests, time, random,re
这几个模块都可以用pip来安装,cmd下输入命令:pip install 库名
其中用time和random模块是用于爬取内容时的时间间隔,re模块是用于修正文件名的函数
好了,先写个获取源码的函数
头部信息在消息头里面的请求头,大家自行修改为自己的就好!
我们要依次保存mp4格式的视频文件,这里提供给大家一个小函数,用于剔除文件名中的不规范符号,用了re模块!
这里说明下,这段代码是在网上找的,懒的敲了
先来获取每次加载的url,注意第一次加载的url和后面加载的不一致,用if函数。
分析整个页面发现,排行榜只有100个视频,10个一批加载,所以直接写入循环,然后用json方式获取我们需要的内容即可,非常简单的一个爬虫。
完整代码和运行结果奉上!
需要注意的是在下载视频文件的时候,需要加入头部信息,不然下载不了的!
欢迎大家来我的python交流、学习群:542110741,大家一起学习进步!
喜欢就点个赞呗!