Python爬取豆瓣电影动态数据

之前我们使用爬虫只是模拟浏览器发送一条url请求,就可以爬取网站的页面。然而很多网站的数据是通过Ajax动态发送的,即在不改变url的基础之上加载页面信息。

我们以豆瓣电影排行榜为例:

如果请求这个url是得不到任何信息的,因此我们要抓包的到动态的url。

当我们向下滑动页面,就会加载出更多的科幻电影,而网页的url并没有发生变化。

Response里面获得一个响应值,放到json解析工具解析出来是一个列表数据类型,里面嵌套了字典。

image

将请求参数转化为字典键值对:

最后利用for循环遍历,得到电影的详细信息。

相关视频

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。