Python爬虫数据抓取思路

一:确定需求,比如需要哪些字段:
二:寻找能提供全部需求的数据源
1.如果能找到:
1.1分析数据加载的方式(动态or静态)
1,2根据数据加载方式,分析是否有反扒,还有反扒的强度(抓包和进行request)
1.3确定反扒强度:
1.3.1 if ok:
1.3.1.1确定数据类型数据格式,制定数据抽取规则,
1.3.1.2入库,successfully;
1.3.2 else:
回到二
2.如果找不到:
2.1.寻找数据源,多个数据源进行拼凑
2.2在各个数据源下执行 二.1

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,404评论 19 139
  • feisky云计算、虚拟化与Linux技术笔记posts - 1014, comments - 298, trac...
    不排版阅读 9,333评论 0 5
  • 1.ios高性能编程 (1).内层 最小的内层平均值和峰值(2).耗电量 高效的算法和数据结构(3).初始化时...
    欧辰_OSR阅读 29,837评论 8 265
  • 不记得从什么时候,我开始玩天天爱消除这款游戏。隐约记得是有一次等车,穷极无聊,随手下载了这个游戏。 最初玩经典模式...
    曲非烟2018阅读 4,136评论 6 1
  • 1 我们普通人想要改变命运,想要逆袭,想要给家人更好的生活,就要付出更多的努力才行。2、 8小时之内求生存,8小时...
    冀云来了阅读 1,254评论 0 0