八爪鱼-自定义模式采集数据

使用工具:八爪鱼客户端

在八爪鱼客户端中可以使用自定义模式灵活配置采集任务

首先需要确定目标网址采集需求

以京东为例,我们需要在京东首页输入关键词"手机",然后去采集全部"手机"搜索结果的数据(八爪鱼工具采集)


第一步 复制粘贴目标网址

复制京东首页的网址。粘贴至八爪鱼首页选项的网址输入框中,点击开始采集,点击保存设置,可以观察到八爪鱼自动的打开了这个网页,接下来就是去配置采集流程。

查看采集流程的开关在设置选项里,自定义模式配置里的打开流程图默认开启的。


第二步  输入文本&执行操作&添加流程

输入关键词"手机",并实现搜索,选中输入框,在弹出的操作提示框中选择输入文字,输入关键词"手机",点击"确定"保存,注意观察,八爪鱼自动的将"手机"这一关键词自动的填充到了输入框中,并将这个步骤添加到了流程中。

接下来是点击"搜索"按钮,选中"搜索"按钮,在操作提示框中选择"点击该按钮",同样的,八爪鱼执行了搜索这个操作,并将这个步骤添加进流程中,现在页面中就出现了手机这个商品关键词的搜索结果。


第三步 采集全部手机数据

在八爪鱼中是需要建立一个循环去完成的,怎样建立循环呢?

选中第一个手机列表,在弹出的操作提示框中选择"选中子元素"。

这里的"子元素"就是手机列表中的字段,选择"选中子元素"以后提示我们发现30组同类元素,很显然我们是需要采集页面中全部30组手机数据的,所以呢在这里需要选择"选中全部"。

继续选择"采集数据",注意观察,八爪鱼就自动地生成了一个"循环-提取数据"的步骤,循环中的30条对应着页面中的30个手机数据,提取数据中的字段,对应着每一个手机中的具体字段。

八爪鱼它自动提取了很多字段,有些是我们不需要的,可以选中字段,点击右侧的"垃圾桶"图标,将其删除。

除了删除字段外还可以修改字段的名称,如修改成(价格,标题)字段。


第四步 实现翻页

现在这个流程采集的是第一页数据,如果我们需要翻页采集,该如何操作?

选中并点击页面中的"下一页"按钮,在出现的操作提示框中选择"循环点击下一页"。

注意观察,八爪鱼建立了一个"循环翻页"的步骤,有了循环翻页步骤以后,八爪鱼就能实现全自动翻页了。


第五步 设置向下滚动

京东这个网站比较特别,在出现手机搜索结果以后,需要向下滚动页面,才会加载出所有的手机列表。

相对应的在八爪鱼中也需要设置向下滚动,选中八爪鱼流程中的"点击元素"步骤。

滚动页面选项中勾选"页面加载完成后向下滚动"。

滚动次数设置为"10",每次间隔设置为"0.5",滚动方式设置为"向下滚动一屏",点击"确定"保存。

点击"点击翻页"步骤,进行同样的设置,现在一个完整的采集任务就配置好了。启动采集后,八爪鱼就会按照我们的配置全自动的去采集每一页手机数据。


第六步  采集启动运行

点击"开始采集"按钮,选择"启动本地采集",本地采集就是指用数据采集到本地文件。

运行后,八爪鱼全自动的打开一个采集任务,并按照配置开始采集数据。

数据采集完成以后会弹出来一个提示框,选择"导出数据",以需要的格式进行导出(Excel[xlsx]csvhtml,Json格式以及[sqlMySQLOracle]数据库等),图中举例选择的是"Excel[xlsx]"格式进行导出。

点击"确定",即可以看到最终的导出结果。

自定义配置的任务会保存在"我的任务"中,点击"我的任务",找到刚才自定义创建的任务,点击更多操作下的"···",选择查看数据选项下的"本地采集数据",可以查看此任务采集到的数据。

当然在此也可以进行数据的导出。

自定义配置中的任务是可以多次启动和二次编辑的,点击此处的"启动本地采集"图标,可快速启动本地采集。

点击任务名,进入到任务配置页面。

在这里是可以修改任务配置的,例如在输入文字步骤,当前输入的是"手机"关键词,我可以将其更换成"电脑"。



自定义配置任务方法一:在首页输入框中输入网址去自定义配置任务的。

自定义配置任务方法二:点击左侧的新建-自定义任务,直接开始输入网址进行自定义任务的配置。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容