有些网页的加载方式很特别,爬取的方式也有所不同。今天我们来学习爬取异步加载的数据的方法,并且爬取 KnewOne 这个网站。
Step 1:什么是异步加载
我们经常在访问一些网站的时候,发现它的信息没有马上全部加载出来,比如图中的这个效果,就是异步加载的一个情况。
Step 2:如何爬取异步加载
对于异步加载的网页,我们需要找到它的加载规律是什么。打开 KnewOne 的 Request,很容易就发现了答案。
想知道答案是什么吗?请看视频:
4、如何爬取网页中的动态数据【Python零基础爬虫实战】
在亲身实践之后才能真正学会。所以,每节课都有一道配套的实战练习题,这节课的练习作业是:爬取霉霉的大量图片,并且下载到本地。
上面的内容来自网易云课堂畅销课程 Python实战课程:四周实现爬虫系统
加入课程后,可以看到完整四周课程,获赠零基础预习教程魔力手册,并得到班级老师的辅导与答疑。
欢迎加入预备班 QQ 群和大家讨论 Python 课程问题,参加每周的老学员分享,QQ 群号是:454652648,加群回复:实战计划