网易云音乐的爬虫——初始

本人是网易云音乐的重度使用者,也曾对音频设备小烧过一段时间,奈何囊中羞涩,辛亏网易云拯救了我,自那之后便对网易云极为忠诚!!!(•́へ•́╬)
这个项目的起因在于刚学了python的爬虫,于是想尝试下对实战,爬取一下有用的数据,便想统计下网易云中所有歌曲的评论数,制作一个10W+评论数的歌单。后面事实证明,网易云的爬虫对于新手还是相当不友好的。
记得有张图,描述的是爬虫与反爬虫的斗争过程,网易云应该算的上后几个阶段了。

但当时还是相当勇敢的去尝试了,虽然踩坑无数,却也从刚学会request和Beautiful.soup,到最后scrapy速度拉满,cpu吃满,终于在某种程度上完成了这个歌单,历时四天,后续会慢慢把过程中遇到的坑及request的直接实现和scrapy的实现贴上来,也算是一个回顾。

嗯~~,最后的成果就先在这里贴出来了,o(´^`)o
评论10W+——某些版权没有了的歌就没有收在歌单里面
评论5W-10W——这里就截取了一部分的歌曲,因为数量确实有些多的

就这样,下一篇正式开始,感谢阅读 |ू・ω・` )

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容