S01E07.智能翻页和批量下载文件【京客隆超市】

当前存在问题

在下载完财务资料的部分之后,在公告及通告专栏部分开始进行循环下载。
观察数据发现:本程序仅下载了专栏子页非1的专栏,专栏页面数为1的,都进行了跳过。
程序可能存在问题:
1)正则表达式的书写存在问题;2)“尾页”部分的IF条件判断语句存在一些问题。

import requests
from lxml import etree
import re
import os
网址 = 'http://www.jkl.com.cn/newsList.aspx?TypeId=10009'
UA伪装 = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'}
proxies={
    'http':XXX@XXXX',
    'https':'XXX@XXXX'
    }
# 1.拿各项目的链接
响应数据 = requests.get(url=网址,headers=UA伪装,proxies=proxies,verify=False).text
解析 = etree.HTML(响应数据)
项目名称 = 解析.xpath('//div[@class="infoLis"]//a/text()')
项目链接 = 解析.xpath('//div[@class="infoLis"]//@href')
项目名称 = [项目名称.strip() for 项目名称 in 项目名称]
项目链接 = ['http://www.jkl.com.cn/'+项目链接 for 项目链接 in 项目链接]
字典1 = dict(zip(项目名称,项目链接))
for 项目名称,项目链接 in 字典1.items():
    项目名称 = 项目名称.replace('/','.')
    项目名称 = 项目名称.replace('...', '')
    路径 = 'd:/' + 项目名称
    if not os.path.exists(路径):
        os.mkdir(路径)
    else:
        响应数据 = requests.get(url=项目链接,headers=UA伪装,proxies=proxies,verify=False).text
        解析 = etree.HTML(响应数据)
        尾页 = 解析.xpath('//a[text()="尾页"]/@href')
        if 尾页 != []:
            正则 = re.search('\d{1,4}',尾页[0])
            页数 = 正则.group(0)
            print(页数)
        else:
            页数 = 1
        for 页数 in range(1,int(页数)+1):
            响应数据 = requests.get(url=项目链接,headers=UA伪装,proxies=proxies,verify=False).text
            解析 = etree.HTML(响应数据)
            文件名称 = 解析.xpath('//div[@class = "newsLis"]//li/a/text()')
            文件链接 = 解析.xpath('//div[@class = "newsLis"]//li//@href')
            文件名称 = [文件名称.strip() for 文件名称 in 文件名称]
            if all(文件链接):
                文件链接 = ['http://www.jkl.com.cn'+文件链接 for 文件链接 in 文件链接]
                字典2 = dict(zip(文件名称,文件链接))
                for 文件名称,文件链接 in 字典2.items():
                    文件名称 = 文件名称.replace('/', '.')
                    响应数据 = requests.get(url=文件链接,headers=UA伪装,proxies=proxies,verify=False).content
                    后缀 = 文件链接.split('.')[-1]
                    文件路径 = 路径 + '/' +  文件名称 + '.' + 后缀
                    # print(文件路径)
                    with open(文件路径,"wb") as 变量名:
                        变量名.write(响应数据)
                        print(文件名称,"下载成功!!!")
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 220,884评论 6 513
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 94,212评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 167,351评论 0 360
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,412评论 1 294
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,438评论 6 397
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 52,127评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,714评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,636评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 46,173评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,264评论 3 339
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,402评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 36,073评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,763评论 3 332
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,253评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,382评论 1 271
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,749评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,403评论 2 358

推荐阅读更多精彩内容