使用工具:八爪鱼客户端
在八爪鱼客户端中可以使用自定义模式灵活配置采集任务
首先需要确定目标网址和采集需求
以京东为例,我们需要在京东首页输入关键词"手机",然后去采集全部"手机"搜索结果的数据(八爪鱼工具采集)
第一步 复制粘贴目标网址
复制京东首页的网址。粘贴至八爪鱼首页选项的网址输入框中,点击开始采集,点击保存设置,可以观察到八爪鱼自动的打开了这个网页,接下来就是去配置采集流程。

查看采集流程的开关在设置选项里,自定义模式配置里的打开流程图是默认开启的。

第二步 输入文本&执行操作&添加流程
输入关键词"手机",并实现搜索,选中输入框,在弹出的操作提示框中选择输入文字,输入关键词"手机",点击"确定"保存,注意观察,八爪鱼自动的将"手机"这一关键词自动的填充到了输入框中,并将这个步骤添加到了流程中。




接下来是点击"搜索"按钮,选中"搜索"按钮,在操作提示框中选择"点击该按钮",同样的,八爪鱼执行了搜索这个操作,并将这个步骤添加进流程中,现在页面中就出现了手机这个商品关键词的搜索结果。


第三步 采集全部手机数据
在八爪鱼中是需要建立一个循环去完成的,怎样建立循环呢?
选中第一个手机列表,在弹出的操作提示框中选择"选中子元素"。

这里的"子元素"就是手机列表中的字段,选择"选中子元素"以后提示我们发现30组同类元素,很显然我们是需要采集页面中全部30组手机数据的,所以呢在这里需要选择"选中全部"。

继续选择"采集数据",注意观察,八爪鱼就自动地生成了一个"循环-提取数据"的步骤,循环中的30条对应着页面中的30个手机数据,提取数据中的字段,对应着每一个手机中的具体字段。


八爪鱼它自动提取了很多字段,有些是我们不需要的,可以选中字段,点击右侧的"垃圾桶"图标,将其删除。


除了删除字段外还可以修改字段的名称,如修改成(价格,标题)字段。


第四步 实现翻页
现在这个流程采集的是第一页数据,如果我们需要翻页采集,该如何操作?
选中并点击页面中的"下一页"按钮,在出现的操作提示框中选择"循环点击下一页"。

注意观察,八爪鱼建立了一个"循环翻页"的步骤,有了循环翻页步骤以后,八爪鱼就能实现全自动翻页了。

第五步 设置向下滚动
京东这个网站比较特别,在出现手机搜索结果以后,需要向下滚动页面,才会加载出所有的手机列表。
相对应的在八爪鱼中也需要设置向下滚动,选中八爪鱼流程中的"点击元素"步骤。

在滚动页面选项中勾选"页面加载完成后向下滚动"。

滚动次数设置为"10",每次间隔设置为"0.5",滚动方式设置为"向下滚动一屏",点击"确定"保存。

点击"点击翻页"步骤,进行同样的设置,现在一个完整的采集任务就配置好了。启动采集后,八爪鱼就会按照我们的配置全自动的去采集每一页手机数据。


第六步 采集启动运行
点击"开始采集"按钮,选择"启动本地采集",本地采集就是指用数据采集到本地文件。

运行后,八爪鱼全自动的打开一个采集任务,并按照配置开始采集数据。

数据采集完成以后会弹出来一个提示框,选择"导出数据",以需要的格式进行导出(Excel[xlsx],csv,html,Json格式以及[sql,MySQL,Oracle]数据库等),图中举例选择的是"Excel[xlsx]"格式进行导出。


点击"确定",即可以看到最终的导出结果。

自定义配置的任务会保存在"我的任务"中,点击"我的任务",找到刚才自定义创建的任务,点击更多操作下的"···",选择查看数据选项下的"本地采集数据",可以查看此任务采集到的数据。

当然在此也可以进行数据的导出。

自定义配置中的任务是可以多次启动和二次编辑的,点击此处的"启动本地采集"图标,可快速启动本地采集。

点击任务名,进入到任务配置页面。

在这里是可以修改任务配置的,例如在输入文字步骤,当前输入的是"手机"关键词,我可以将其更换成"电脑"。



自定义配置任务方法一:在首页输入框中输入网址去自定义配置任务的。
自定义配置任务方法二:点击左侧的新建-自定义任务,直接开始输入网址进行自定义任务的配置。
