python小项目二

7-23

抓取今日头条街拍美图

1.ajax请求
2.mangodb数据库
3.创建文件夹下载图片

ajax请求

先分析网站的源码
检查——network——勾选preserve log——刷新页面 但是还是找不到想要的
XHR 查看 说明网页是动态变化,offset变化显示页面内容,data是json数据
接着就是解析详情页面,并提取title, 和图片url, 详情页代码数据在network——Doc中查看, 注意提取的是组图,非组图被过滤了.url_list 是指三个地址都是图片的地址,我们只要有一个原始的url就可以了。
发现图集的url都在键的键值中

mangodb

首先需要创建一个数据库,建立配置文件config.py
然后存储数据

创建文件夹下载图片

利用pathlib库根据传入的目录名创建一个文件目录

具体代码机内容参照https://blog.csdn.net/choven_meng/article/details/78581936

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 点我查看本文集的说明及目录。 本项目相关内容( github传送 )包括: 实现过程: CH4 创建社交网站 CH...
    学以致用123阅读 1,451评论 1 2
  • 1、通过CocoaPods安装项目名称项目信息 AFNetworking网络请求组件 FMDB本地数据库组件 SD...
    阳明AI阅读 16,019评论 3 119
  • 2017年7月23日 星期天 多云 寓言故事《心不在马》讲的是:赵襄王跟王子期学赶马车,继而用...
    千雨轩阅读 287评论 0 3
  • 从前的一个女同学问我一些事,不经意间聊起了他——俊。她向我透露了她的不安——他和他的现任不会长久。What?一...
    咖啡故事阅读 193评论 3 3
  • 批判性思维 1.现代信息大爆炸社会,判断真伪成了现代人的大难题.批判性思维解决这一难题. 2.批判性思维是什么? ...
    fly小天阅读 235评论 0 0