本人是网易云音乐的重度使用者,也曾对音频设备小烧过一段时间,奈何囊中羞涩,辛亏网易云拯救了我,自那之后便对网易云极为忠诚!!!(•́へ•́╬)
这个项目的起因在于刚学了python的爬虫,于是想尝试下对实战,爬取一下有用的数据,便想统计下网易云中所有歌曲的评论数,制作一个10W+评论数的歌单。后面事实证明,网易云的爬虫对于新手还是相当不友好的。
记得有张图,描述的是爬虫与反爬虫的斗争过程,网易云应该算的上后几个阶段了。
但当时还是相当勇敢的去尝试了,虽然踩坑无数,却也从刚学会request和Beautiful.soup,到最后scrapy速度拉满,cpu吃满,终于在某种程度上完成了这个歌单,历时四天,后续会慢慢把过程中遇到的坑及request的直接实现和scrapy的实现贴上来,也算是一个回顾。
嗯~~,最后的成果就先在这里贴出来了,o(´^`)o
评论10W+——某些版权没有了的歌就没有收在歌单里面
评论5W-10W——这里就截取了一部分的歌曲,因为数量确实有些多的
就这样,下一篇正式开始,感谢阅读 |ू・ω・` )