Python爬虫之煎蛋网图片下载

受程序员群的影响(自己污的本性),他们总是带我开车,想想我也该收集一些资料了(美女图片)

代码

import requests
from lxml import etree

urls = ['http://jandan.net/ooxx/page-{}'.format(str(i)) for i in range(0,20)]
path = 'C://Users/Administrator/Desktop/煎蛋网/'

header = {
    'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}

def get_photo(url):
    html = requests.get(url)
    selector = etree.HTML(html.text)
    photo_urls = selector.xpath('//p/a[@class="view_img_link"]/@href')
    for photo_url in photo_urls:
        data = requests.get('http:'+photo_url,headers=header)
        fp = open(path + photo_url[-10:],'wb')
        fp.write(data.content)
        fp.close()

for url in urls:
    get_photo(url)

我以前做个视频,这次用不了,出错,爬虫只有进行时啊!!!!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 173,242评论 25 708
  • 1.确定kin码 查找年份对照表,找出年月对应的数字; 将这两个数字与日期数字相加,若和为260以内的数字,则该数...
    四季橄榄阅读 899评论 3 2
  • 今年10月份,刚刚拍完婚纱照。婚期预订是明年开春,却被这些“人造”的好日子,好时辰全部打乱。双十二,全民狂欢的日子...
    Vici_G阅读 205评论 0 0
  • 离婚后的每一个噩梦都是在释放曾经压抑的伤痛。不懂爱不敢爱不会爱,其实都是成长过程中太缺爱的原因,可是我唯一的错就是...
    破碎的小孩阅读 205评论 0 1
  • 项目需求: 结构化的目的:由于文档、query中的信息都是参数化是人可读,但机器不方便机器自动化处理,所以需要结构...
    活着活法阅读 947评论 0 2