引
最近因为比较忙，但是我觉得再忙也需要给自己安排一点娱乐时间，对自己好点，自己对自己不好，谁会？
自己娱乐一般会有：跑步、看电影、短视频，而短视频是最家常的娱乐方式，看得最多的小视频是「 陈翔六点半 」，咦！拍得搞笑，演技也一流，也不乏有内涵！非常推荐大家看看。
但我不推荐大家用「抖音」看短视频，因为它的算法实在太强大了、内容也非常抓人性！一入抖音深似海，从此时间是狗屎！
因此我推荐大家到「微信看一看」、「QQ空间、「微博」里去瞧一瞧，最推荐是「微博」，但千万别花太多时间，也出于不要浪费太多时间去翻各种页，看一些原本自己没有打算看的信息，因为这些平台的算法真的是太了解我们自己，99% 的人都比不过它了解我们自己，数据的价值被这些平台利用得淋漓尽致，因此我这次去爬视频，数据是微博的，让我自己不要花太多时间在搜索，浏览或者观看一些对自己没多大意义的信息数据，让自己想看哪些小视频就只看哪些小视频，仅此而已。
时间太贵，我耗不起
正题
先上爬取短视频的效果图，duang、duang、duang、想下载什么就是什么，哈哈。
打开浏览器（电脑版，方便调试）输入微博 url ：https://m.weibo.cn，点击输入框，输入「陈翔六点半」，回车搜索
但是发现在这个页面就只用几个视频。滑下一点，一看，有个「更多热门微博」，点击！
跳转到新页面，一看，一滑，就像一个无底洞！一直滑都会有视频！
咦，这不就是我要的视频数据嘛
仔细看地址，不知大家有没仔细看地址栏，我滑动时，地址是一直不变的，也就证明这网页是用 Ajax 来异步请求加载数据的！
我就马上按 F12 调出调试工具，点击 Network 选项卡，选中 XHR ，一边滑动网页，一边查看 Ajax 网络请求，选中一条查看
展开 Json 数据查看，可以看到每条视频微博数据，总供有十条
我想下载视频，如何快速找到视频的下载地址而不是每一个数据点开来看呢？我想想能不能借助了谷歌浏览器的忙。
随便点开其中一个视频，右键，竟然可以查看并复制视频链接
复制到视频链接后，贴到地址栏，回车访问，也能播放，大喜呀！
马上回到调试工具，点击 preview 预览数据，按 Ctrl + F 进行搜索，把刚刚复制的地址贴到搜索框
咦，竟然匹配到了！
发现 media_info 中的 stream_url 就是该视频的播放地址，也就是下载地址。再往前看，media_info 前面的 content2 是视频的在微博中的标题。
查看其他的 Json 数据也同样有视频地址和标题，复制里面的 视频地址 url 贴到浏览器地址栏也能直接播放视频！八九不离十，这个 stream_url 就是视频下载地址了。
马上构造请求，根据刚刚复制的视频地址获取资源，并下载视频，看看有没有什么端倪，此时心中忐忑不安
很快就下载好了
点击播放视频，竟然毫无毛病，流畅播放！这下好了！就 kuang、kuang、kuang 准备开始撸代码了，不要怂，就是干！
认真查看请求地址、请求头中的请求地址，请求方法和 User—Agent 等，开始构建请求方法模拟 Ajax 请求，获取 Json 数据。
查看多几次异步请求，就会发现，变化的参数只有 page，可以一步步把一个参数删掉后测试一下能不能正常获取数据，这样把一些非不要的参数剔除。里面有一些注释，是我踩过的坑，有兴趣就多看几眼，希望各位看客能分享一下（在下方留言）在 python 爬虫上入过的一些坑，让彼此少躺枪！获取到了页面后，构建方法解析 Json 数据，分析 Json 数据中的层级结构，把里面的视频名和视频下载地址提取出来。
这里有个快捷查出 stream_url 层级结构路径，选中该属性或者说节点，右键，copy property path
再粘贴到浏览器地址栏查看即可清晰知道它们之间的层级结构
面对这种多层 json 格式数据，我知道有上面两种取值方式，代码中也说明了各的优势和缺点，按需选取。如果你还有更优雅的方式，希望你能在下方留言。
之后在，主函数中循环、遍历调用前面的方法，就下载指定到多少页的视频了
嗨皮时刻，效果如下
上面的代码中还有许多需要优化之处，比如下载时重名怎么办、各种参数的有效性判断等等，后面我也会优化一下，把它优化成：只用要用户输入自己喜欢的小视频制作方，如「 陈翔六点半」，再指定想看多少个视频或者多少页，后就自动下载视频，下载好了，就可以嗨皮娱乐一波了。关键是自己省很多时间，不得不像那些优秀的算法和大数据屈服！
关注微信公众号：MoTec，查看更多爬虫的技术文章及电子书和视频。
如果你想瞧瞧这个小 demo，欢迎在公众号后台回复 「爬取微博小视频」获取。
推荐阅读
