爬虫实战3：如何从B站找到好的视频

众所周知B站是一个学习的地方。首先为大家推荐几个B站学习的Up主，视频主要是关于python、数据分析、MYSQL数据库方面的，

视频推荐

python篇

1、8天搞定Python爬虫开发 http://www.bilibili.com/video/av840116028
2、Python最好的IDE：VS Code http://www.bilibili.com/video/av370093054
3、【老男孩教育】Python全栈高级就业班（3月最新开班）持续更新... http://www.bilibili.com/video/av795202093
4、Python高级核心技术讲解 http://www.bilibili.com/video/av967503510
5、【LeeCode】Contest 183 http://www.bilibili.com/video/av497594624
6、为什么推荐你学python，而不是java、php、c++，坚持完30秒你就懂了 http://www.bilibili.com/video/av625086082
7、复旦大学公开课：商务数据分析（机器学习篇） http://www.bilibili.com/video/av840238451
8、2020 黑马Python全栈就业班全套更新中... http://www.bilibili.com/video/av97113524
9、小迷糊的Python入门教程（1）安装开发环境 http://www.bilibili.com/video/av540280042
10、十分钟！彻底弄懂Python深拷贝与浅拷贝机制 http://www.bilibili.com/video/av925198200

数据分析篇

1、第十八节协方差分析ANCOVA，重复测量方差分析ANOVA，非参数方差分析 http://www.bilibili.com/video/av967560346
2、什么是统计学 http://www.bilibili.com/video/av882726219
3、以新冠疫情分析为例，谈谈数学思维 http://www.bilibili.com/video/av967592795
4、第十九节 R语言ggplot2绘图系列教程之基本认识 http://www.bilibili.com/video/av882717944
5、跟着公司高管买他家股票能赚钱吗(3):增持后股价怎么走【邢不行】80000条大数据、原始数据整理、python数据分析 http://www.bilibili.com/video/av100643102
6、乐学偶得|零基础Python玩Fintech金融量化交易入门篇 http://www.bilibili.com/video/av200318507
7、国家精品公开课：商务数据分析与应用 http://www.bilibili.com/video/av582635858
8、数据挖掘与python实践 http://www.bilibili.com/video/av455210116
9、十五、尚硅谷 2019-2020 最新大数据课程 - Elasticsearch、Logstash、Kibana，ELK 技术栈 http://www.bilibili.com/video/av710017519
10、白月黑羽小班学员作品展示 http://www.bilibili.com/video/av667816828

mysql数据库篇

1、MySQL优化 http://www.bilibili.com/video/av795215852
2、数据库建模 http://www.bilibili.com/video/av667696736
3、Java项目-互联网大型电商项目实战教程 http://www.bilibili.com/video/av710281771
4、马士兵教育连老师：如果你能掌握这节mysql优化，保你月薪涨5000 http://www.bilibili.com/video/av882530830
5、「MySQL」从零到删库精品课程（2020） http://www.bilibili.com/video/av540222718
6、【MySQL】MySQL数据库快速入门到实战 | 2020年 http://www.bilibili.com/video/av200009677
7、Redis从入门到精通 http://www.bilibili.com/video/av497625352
8、SQL注入基础入门 - 黑马程序员 http://www.bilibili.com/video/av667676123
9、阿里P8级Java面试题（首发，60道面试秘诀） http://www.bilibili.com/video/av795164178
10、两小时拿下MySQL优化 http://www.bilibili.com/video/av752581784

爬虫解析

但是如何找到比较好的学习资源呢，现学现卖，本节将使用python爬虫帮你找到好的学习资源。首先打开B站，依次找到学习标签下的视频热度排序。

image

找到的热度学习视频之后，接下来就是要解析网站，打开开发者工具，找到数据链接

image

通过点击下一页，对比数据发现，page参数是变化的。keyword是学习标签参数

https://s.search.bilibili.com/cate/search?main_ver=v3&search_type=video&view_type=hot_rank&order=click&copy_right=-1&cate_id=39&page=1&pagesize=20&jsonp=jsonp&keyword={}
https://s.search.bilibili.com/cate/search?main_ver=v3&search_type=video&view_type=hot_rank&order=click&copy_right=-1&cate_id=39&page=1&pagesize=20&jsonp=jsonp&keyword={}
https://s.search.bilibili.com/cate/search?main_ver=v3&search_type=video&view_type=hot_rank&order=click&copy_right=-1&cate_id=39&page=1&pagesize=20&jsonp=jsonp&keyword={}

构造完成URL参数之后，我们将要爬取视频的以下数据

'id', '排名', '标签', 'up主', '标题','播放url','播放次数','收藏数','投币数','更新时间'

找到URL和需要爬取的数据之后，B站本身也没有什么太难的反爬，现在直接提供完整代码以供参考。

完整代码


import requests
import csv
from urllib import parse
import json
import string

headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36'
}


def get_parse(result):
    content=[]
    items=result['result']
    for item in items:
        id=item['id']
        rank=item['rank_offset']
        print(rank)
        tag=item['tag']
        author=item['author']
        title=item['title']
        url=item['arcurl']
        play=item['play']
        favorites=item['favorites']
        video_review=item['video_review']
        pubdate=item['pubdate']
        con=[id,rank,tag,author,title,url,play,favorites,video_review,pubdate]
        content.append(con)
    save(content)


def save(content):
    with open('./编程学习视频.csv', 'a', encoding='gb18030',newline='')as file:
        write = csv.writer(file)
        write.writerows(content)


def main():
    header = ['id', '排名', '标签', 'up主', '标题','播放url','播放次数','收藏数','投币数','更新时间']
    with open('./编程学习视频.csv', 'a',encoding='gb18030',newline='')as f:
        write=csv.writer(f)
        write.writerow(header)
    type=['编程']
    types=['公开课','演讲','TED','哲学','课程','可汗学院','哈佛大学','北京大学','耶鲁大学','斯坦福大学','麻省理工','人工智能','百家讲坛','高数','万门大学','教育','学习','考试','英语','视频教程','讲座','线上课堂','编程','数学','语言','高考','高中','英语学习','物理','速成课','平面设计','设计','考研英语','PS教程','文化','历史','机器学习']
    for j in type:
        cate = parse.quote(j, safe=string.printable)
        for i in range(100):
            url='https://s.search.bilibili.com/cate/search?main_ver=v3&search_type=video&view_type=hot_rank&order=click&copy_right=-1&cate_id=39&page={}&pagesize=20&jsonp=jsonp&keyword={}'.format(i,cate)
            response = requests.get(url, headers=headers)
            result = json.loads(response.text)
            # print(result)
            get_parse(result)


if __name__=='__main__':
    main()

爬取数据展示

image

到此数据爬取完成，从这里就可以找到播放最多的视频，收藏数和投币数最多的视频，从而找到比较好一点的视频。

如何想要获取其他类型的热度视频，其他视频获取URL地址

演讲.公开课
https://www.bilibili.com/v/technology/speech_course/?spm_id_from=333.6.b_7375626e6176.4#/
趣味科普中文
https://www.bilibili.com/v/technology/fun/?spm_id_from=333.6.b_7375626e6176.2#/
野生技术协会
https://www.bilibili.com/v/technology/wild/?spm_id_from=333.6.b_7375626e6176.3#/

image

然后这个视频热度是可以按照播放数、评论数、投币数、收藏数、弹幕数来排序的，也可以按照月份来排序

有了数据之后，你也可以查看一下那些类型的视频最受欢迎，各类型的视频TOP UP主都是谁，也可以给各类型视频做个词云图，看看各类型视频下的热度标签都是那些，有了数据之后对于数据分析师来说可以做的东西特别多，这里就不一一介绍，随后也会出一版这方面的文化文章。

随着大数据的时代的到来，数据变得越来越重要，数据可以帮助我们来看清行业的本质，也可以帮助我们更加快速的了解一个行业，关注公众号——有趣的数据，走进数据的时代。

image