2.6 下滑加载选择器Element scroll down selector --webscraper操作手册

有些下滑到页面底部才会加载内容的网站
林俊杰微博抓取

老规矩只讲关键点
其实就是把我们之前做过的element selector换成 element click selector

  • 1 首先增加父级元素


    父级selector
  • 2抓取微博发布时间数据


    时间-子级selector
  • 3 抓取微博内容


    内容-子级selector

    最后看一下我们抓取的数据格式


    数据格式

总结:
当页面存在下滑至页面底部时才加载内容结构时 采用Element scroll down selector 这种选择器

使用Element selector, Element scroll down selector, Element click selector 这3种选择器时一定要创建子级选择器(link,text等)来采集真实内容,否则不会输出数据

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容