此为Web Scraper 使用教程第十篇:进阶用法之爬取二级页面的内容。
二级页面,大致意思就是需要点击当前网页上的网址进行访问之后才能爬取到的数据,如下图:
要爬取每个职位的联系方式,需要点开每个职位的链接。
这种情况,web scraper一样也可以进行处理,爬取的效果如下:
视频演示
Web Scraper 使用教程(十)- 爬取二级页面的内容_腾讯视频
视频当中通过演示两个例子来说明如何爬取二级页面的内容
之前的教程可以看这里:
1、Web Scraper 使用教程(一)- 安装
2、Web Scraper 使用教程(二)- 基本用法之安装、配置、运行
3、Web Scraper 使用教程(三)- 基本用法(常用选择器类型)
4、Web Scraper 使用教程(四)- 进阶用法(同一个页面爬取多个类型内容)
5、Web Scraper 使用教程(五)- 进阶用法(爬取向下滚动加载页面)
6、Web Scraper 使用教程(六)- 进阶用法(网址有规律变化进行翻页)
7、Web Scraper 使用教程(七)- 进阶用法(点击「翻页器」进行翻页)
8、Web Scraper 使用教程(八)- 进阶用法(点击「更多」进行翻页)
9、Web Scraper 使用教程(九)- 进阶用法(动态加载进行翻页)
欢迎交流!