数据采集器浏览器与爬虫

使用数据提取器从网站中提取数据。数据提取代理是读取和解析目标web页面的web浏览器。Visual Web Ripper 支持以下三个数据提取器:

  • WebBrowser agent: 这个数据提取器使用了一个嵌入式版本的Internet Explorer。它的速度相当快,并且支持动态内容,包括JavaScript和AJAX。这个数据提取代理是默认代理,它可能是您在大多数情况下都会使用的代理。
  • WebCrawler agent: 这个数据提取代理是一个轻量级的web爬虫程序,它读取和解析网页,但是忽略了动态内容,如JavaScript和AJAX。web爬虫代理非常快,可以同时处理多个网页,但是它不能在所有的网站上运行,因为它忽略了JavaScript。
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,087评论 19 139
  • 一、基础知识篇:Http Header之User-AgentUser Agent中文名为用户代理,是Http协议中...
    iPhone阅读 15,929评论 0 13
  • 在图书馆,旁边有用电脑的同学。你说,我是该拉开窗帘变得明亮,还是继续暗着等老师开灯? 宿舍23:00熄灯了,你说,...
    铭93阅读 177评论 0 1
  • 无论孩子给我们带来多少困难,烦恼、甚至挫败,无论让我们失去多少睡眠、时间、金钱,精力,好好珍惜吧,因为这都是上天的...
    贝卡不卡阅读 232评论 0 2