python学习 三 01 再爬一个网站,几行代码,搞定分类类别

Python安装

python自我学习 一 python语法,及变量类型

python自我学习 二 爬一个图片网站上

python学习 二 02 爬一个图片网站,获得主链接网址,并保存

python学习 二 03 爬一个图片网站-获得所有分页网址

python学习 二 04 爬一个图片网站-解析文件,获得所有图片链接

python自我学习 二 05 爬一个图片网站-下载图片链接

python学习 二 06 爬一个图片网站-多线程方式下载


前文,下载了一个图片网站,但是素材还是不够,我希望的是GIF素材,所以又找了一个网站。

下载这些图片的目的,是在进行动图创作、视频编辑的时候,感到素材太少,所以需要爬以下,获得一些素材。

顺便打下小广告,如果有喜欢制作动图的话,可以下载我打造的软件:任性动图

如果喜欢视频编辑的话,可以下载我的另一款软件:任性小视频

第一步,将获得所有主类别

根据主类别,创建本地目录,

将主类别对应的网址,下载下来

看网页源码

创建好的主类别如下

代码如下:

目前,我们将主类别创建成功了,而且主类别目录下,是其对应的网页

第二步,分析主类别网页,创建相应子类别

下图为主类别网页

网页源码如下:

子类别位于class=cat的DIV下

标签的对应的类 class="sidebar-letter"

下面,我们加载这个主类别网页,然后,在这个网页中搜寻子类别信息

首先获得gif目录下的所有子文件夹

然后获得子目录下存放的TXT网页,对此网页进行解析,获得所需的子类别信息,

代码:

最后,根据子类别信息,创建子类别目录,及子类别对应的网页

至此,我们将原网站中对应的类别信息,已经下载下了。

代码:

推倒前面代码,用递归算法重写

注意了,前面写的那么多,要废除了,但是前面也并不是一点作用也没有,而是为了更好的分析

很多时候就这样,并不能一下子就找到正确的方法,就是要在不断的调试,不断的分析后,才能找到更好的策略

我发现,这个网站,并不是严格的几层分类,分类层数不一定,又仔细看了下源码,不管是主分类网页,还是次分类网页,他们的div的类别都是相同的。

而A分类下的子类别accordions下,可能还有子分类,也可能没有子分类。

判断accordions下还没有子分类的方式:

下载网页

看看此网页中是否还有

如果还有,则继续创建类别

这是一个递归创建的过程,所以我将上面的程序重新推到,重新写了个递归算法。

用这几句代码,就可以正确的创建网站类别了。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,752评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,100评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,244评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,099评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,210评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,307评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,346评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,133评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,546评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,849评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,019评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,702评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,331评论 3 319
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,030评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,260评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,871评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,898评论 2 351

推荐阅读更多精彩内容