有些下滑到页面底部才会加载内容的网站
林俊杰微博抓取
老规矩只讲关键点
其实就是把我们之前做过的element selector换成 element click selector
-
1 首先增加父级元素
父级selector -
2抓取微博发布时间数据
时间-子级selector -
3 抓取微博内容
内容-子级selector
最后看一下我们抓取的数据格式
数据格式
总结：
当页面存在下滑至页面底部时才加载内容结构时 采用Element scroll down selector 这种选择器
使用Element selector, Element scroll down selector, Element click selector 这3种选择器时一定要创建子级选择器（link，text等）来采集真实内容，否则不会输出数据
