数据分析流程:
1、确定流程
2、数据收集
3、数据清理
4、数据分析
5、数据报告
6、执行与反馈
想要做好对数据的一系列分析,数据的采集也至关重要。最近正在接触八爪鱼数据采集器这款数据爬虫软件,不需要使用代码,采集的步骤对于文科生还没咋会用代码的我来说相对简单。最近恰好遇上八爪鱼开的培训课程。特整理一些笔记,因为感觉手写笔记整的太慢了....
进入正题~~
八爪鱼采集原理:模拟人浏览网页的行为自动化采集数据
内置火狐内核浏览器、模拟人浏览网页、复制数据的行为,通过设计工作流程,自动化采集数据。
主要步骤:
1、复制输入的网址“保存网页”以打开该网页
2、模拟操作--“循环下一页”/循环点击单个元素(选择八爪鱼需要为你完成的下面的步骤,如翻页等)
3、右上角打开流程看自己设计的流程,对比完善。
4、数据采集与导出
单网页数据采集:
- 单网页
- 单网页列表
- 单网页列表详情
分页数据采集: - 分页列表
- 分页列表详情