大数据时代作为数据的源头,python网络爬虫,图片获取

在大数据时代作为数据的源头,python网络爬虫,数据采集的利器

本文介绍的是python爬虫图片的获取,

家可以加一下python技术交流裙、适合初学者和进阶的同行业交流

![里面又相关的python入门学习资料及进阶实战视频文档]点击链接加入群聊【Python技术交流】


好了下面开始撸代码走你

import json

import urllib

三个参数,你要获取整个图片集的名字,你要获取多少张,获取过来的放在哪里

def getSogoulmag(category,length,path):

n=length

cate=category

获取的是图片所有信息

imgs=requests.get('http://pic.sogou.com/pics/channel/getAllRecomPicByTag.jsp?category=’+cate+

‘&tag=%E5%85%A8%E9%83%A8&start=0&len=’+str(n))

转换成为json格式

jd=json.loads(imgs.text)

all_items所有的图片

jd=jd[‘all_items’]

imgs_t=[]

for j in jd:

通过定位bthumbUrl获取图片

imgs_t.append(j[‘bthumbUrl’])

m=0

for img in imgs_t:

打印某一张图片正在下载

print(str(m)+’.jpg’+‘Downlod…’)

用来把远程数据下载到本地

urllib.request.urlretrieve(img,path+str(m)+’.jpg’)

m=m+1

print(‘Complete!’)

调用整个处理逻辑

getSogoulmag(‘壁纸’,100,‘E:/download/’)

如大家没有看懂的可以看之前在腾讯课堂直播上的录播视频,有兴趣的可以进去免费报名看一下,每天晚上都有免费直播分享、

点我进入免费直播课堂

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 你可能需要的工作环境: Python 3.6官网下载 我们这里以sogou作为爬取的对象。 首先我们进入搜狗图片h...
    派派森森阅读 5,575评论 0 4
  • 文章分类 后台文章分类列表页模板导的详细步骤建立数据表blog_category,并添加相应的文章字段使用php ...
    JoyceZhao阅读 1,796评论 0 14
  • 今冬的第一场雪来得不急,上午朋友圈里就开始晒各地的雪景,我一边赏着,一边盼着。中午去上课,城里的孩子们就叽...
    念念叨叨还有词阅读 533评论 0 1
  • 特点: 稳定 是最快的排序算法,时间复杂度O(m+n) 耗空间,最大的数多大,桶就要多少个
    Keizo阅读 1,840评论 0 0