二十六. (未完)异步加载实战 - 简书网7日热门信息

爬取网址:https://www.jianshu.com/trending/weekly
爬取信息:文章名、作者ID、发布日期、指数、阅读、评论、喜欢、赞赏数量、收录专题
爬取方式:在详细页面中进行解析。
存储方式:打印出来


image.png

image.png

①浏览下拉网页,发现网页使用了Ajax技术进行分页。经过测试,可使用以下URL来获取正确内容
https://www.jianshu.com/trending/weekly?page=4,修改数字4即可构造出URL。page范围为1-10页。

image.png

②本次爬虫在详细页面中进行,文章名、作者ID、发布日期、指数、阅读、评论、喜欢、赞赏数量可简单获取。
赞赏数量和收录专题使用了Ajax异步加载,但是相关网址都已经被锁定。


image.png

image.png

此处与书不同,先放着吧,继续往下学习。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容