一:确定需求,比如需要哪些字段:
二:寻找能提供全部需求的数据源
1.如果能找到:
1.1分析数据加载的方式(动态or静态)
1,2根据数据加载方式,分析是否有反扒,还有反扒的强度(抓包和进行request)
1.3确定反扒强度:
1.3.1 if ok:
1.3.1.1确定数据类型数据格式,制定数据抽取规则,
1.3.1.2入库,successfully;
1.3.2 else:
回到二
2.如果找不到:
2.1.寻找数据源,多个数据源进行拼凑
2.2在各个数据源下执行 二.1
Python爬虫数据抓取思路
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。
推荐阅读更多精彩内容
- 1.ios高性能编程 (1).内层 最小的内层平均值和峰值(2).耗电量 高效的算法和数据结构(3).初始化时...