鱼c python 教程爬虫

#鱼c

import requests
from bs4 import BeautifulSoup
import re


def get_pages_url():
    url = 'http://blog.fishc.com/category/python/page//'
    for i in range(1, 12):
        dic_url = url + str(i)
        parse_dic(dic_url)


def parse_dic(url):
    data = requests.get(url).content
    dic_bs = BeautifulSoup(data)

    try:
        bs_main = dic_bs.find('div', {'class': 'main'})
        bs_ul = bs_main.findAll('ul')

        for i in bs_ul:

            title = i.find('h2').find('a')['title']
            title_url = i.find('h2').find('a')['href']
            tag = i.find('span', {'class': 'info-category-icon'}).get_text()
            title_url_num = title_url.replace('http://blog.fishc.com/','').replace('.html','')
            download_url = 'http://blog.fishc.com/' + title_url_num +'.html#prettyPhoto/0/'
            real_data = requests.get(download_url).content
            real_download_bs = BeautifulSoup(real_data)
            download_button_part_bs = real_download_bs.find('p',{'id': 'download_button_part'})
            pan_bs = download_button_part_bs.findAll('a')[1]

            pan_url = pan_bs['href']
            pan_pwd = pan_bs.get_text()
            print(title)
            print(pan_url)
            print(pan_pwd)
            print('----------')
    except:
        pass


def main():
    get_pages_url()

if __name__ == '__main__':
    main()

详细阅读 Pygame：飞机大战7 – 零基础入门学习Python096（完）
http://pan.baidu.com/s/1dDwHvNz
百度网盘（密码：ji6c）
----------
详细阅读 Pygame：飞机大战6 – 零基础入门学习Python095
http://pan.baidu.com/s/1i3H7DXj
百度网盘（密码：wa3q）
----------
详细阅读 Pygame：飞机大战5 – 零基础入门学习Python094
http://pan.baidu.com/s/1jGhDJUY
百度网盘（密码：vj97）
----------
详细阅读 Pygame：飞机大战4 – 零基础入门学习Python093
http://pan.baidu.com/s/1o6Fvuhc
百度网盘（密码：ibe3）
----------
详细阅读 Pygame：飞机大战3 – 零基础入门学习Python092
http://pan.baidu.com/s/1hqGTtmG
百度网盘（密码：c0cd）
----------
详细阅读 Pygame：飞机大战2 – 零基础入门学习Python091
http://pan.baidu.com/s/1gduAFZl
百度网盘（密码：968i）
----------
详细阅读 Pygame：飞机大战1 – 零基础入门学习Python090
http://pan.baidu.com/s/1o65S1aa
百度网盘（密码：xc7v）
----------
详细阅读 Pygame：游戏胜利 – 零基础入门学习Python089
http://pan.baidu.com/s/1eQdHytc
百度网盘（密码：of1y）
----------
详细阅读 Pygame：摩擦摩擦 – 零基础入门学习Python088
http://pan.baidu.com/s/1c0994MO
百度网盘（密码：1zps）
----------
详细阅读 Pygame：播放声音和音效 – 零基础入门学习Python087
http://pan.baidu.com/s/1bnyLR1l
百度网盘（密码：dt98）
----------
详细阅读 Pygame：碰撞检测 – 零基础入门学习Python086
http://pan.baidu.com/s/1pJMJJBH
百度网盘（密码：6dnh）
----------
详细阅读 Pygame：动画精灵 – 零基础入门学习Python085
http://pan.baidu.com/s/1o6oqLzs
百度网盘（密码：log3）
----------
详细阅读 Pygame：绘制基本图形 – 零基础入门学习Python084
http://pan.baidu.com/s/1mgkVusS
百度网盘（密码：oj7p）
----------
详细阅读 Pygame：提高游戏的颜值3 – 零基础入门学习Python083
http://pan.baidu.com/s/1eQtoJXS
百度网盘（密码：6ej1）
----------
详细阅读 Pygame：提高游戏的颜值2 – 零基础入门学习Python082
http://pan.baidu.com/s/1dDlPkS5
百度网盘（密码：s3yx）
----------
详细阅读 Pygame：提高游戏的颜值1 – 零基础入门学习Python081
http://pan.baidu.com/s/1pJ1JB43
百度网盘（密码：8hk0）
----------
详细阅读 Pygame：事件 – 零基础入门学习Python080
http://pan.baidu.com/s/1eQhJbQ6
百度网盘（密码：ppmy）
----------
详细阅读 Pygame：解惑 – 零基础入门学习Python079
http://pan.baidu.com/s/1yMlNg
百度网盘（密码：37gj）
----------
详细阅读 Pygame：初次见面，请大家多多关照 – 零基础入门学习Python078
http://pan.baidu.com/s/1mg9qTks
百度网盘（密码：t5az）
----------
详细阅读 GUI的最终选择：Tkinter14 – 零基础入门学习Python077
http://pan.baidu.com/s/1c0dct7U
百度网盘（密码：udsi）
----------
详细阅读 GUI的最终选择：Tkinter13 – 零基础入门学习Python076
http://pan.baidu.com/s/1bnllIMj
百度网盘（密码：1nhe）
----------
详细阅读 GUI的最终选择：Tkinter12 – 零基础入门学习Python075
http://pan.baidu.com/s/1dDizAyl
百度网盘（密码：0g2i）
----------
详细阅读 GUI的最终选择：Tkinter11 – 零基础入门学习Python074
http://pan.baidu.com/s/1i3AHHDr
百度网盘（密码：cgm6）
----------
详细阅读 GUI的最终选择：Tkinter10 – 零基础入门学习Python073
http://pan.baidu.com/s/1ApSLo
百度网盘（密码：5y3s）
----------
详细阅读 GUI的最终选择：Tkinter9 – 零基础入门学习Python072
http://pan.baidu.com/s/1i3f9gVj
百度网盘（密码：kp9f）
----------
详细阅读 GUI的最终选择：Tkinter8 – 零基础入门学习Python071
http://pan.baidu.com/s/1sjr2S1Z
百度网盘（密码：hy23）
----------
详细阅读 GUI的最终选择：Tkinter7 – 零基础入门学习Python070
http://pan.baidu.com/s/1jGKhlFC
百度网盘（密码：iwop）
----------
详细阅读 GUI的最终选择：Tkinter6 – 零基础入门学习Python069
http://pan.baidu.com/s/1bnCnRX1
百度网盘（密码：h4k7）
----------
详细阅读 GUI的最终选择：Tkinter5 – 零基础入门学习Python068
http://pan.baidu.com/s/1eQ9z08U
百度网盘（密码：qjk8）
----------
详细阅读 GUI的最终选择：Tkinter4 – 零基础入门学习Python067
http://pan.baidu.com/s/1mgJw2Ju
百度网盘（密码：bdgy）
----------
详细阅读 GUI的最终选择：Tkinter3 – 零基础入门学习Python066
http://pan.baidu.com/s/1hqGgIK8
百度网盘（密码：6pmn）
----------
详细阅读 GUI的最终选择：Tkinter2 – 零基础入门学习Python065
http://pan.baidu.com/s/1dDGmRfV
百度网盘（密码：weef）
----------
详细阅读 GUI的最终选择：Tkinter – 零基础入门学习Python064
http://pan.baidu.com/s/1c0k00Li
百度网盘（密码：gcv6）
----------
详细阅读 论一只爬虫的自我修养4：OOXX – 零基础入门学习Python056
http://pan.baidu.com/s/1coluWm
百度网盘（密码：v82r）
----------
详细阅读 论一只爬虫的自我修养3：隐藏 – 零基础入门学习Python055
http://pan.baidu.com/s/1eQu5Moy
百度网盘（密码：qdgs）
----------
详细阅读 论一只爬虫的自我修养2：实战 – 零基础入门学习Python054
http://pan.baidu.com/s/1sj7aBlb
百度网盘（密码：fglm）
----------
详细阅读 论一只爬虫的自我修养 – 零基础入门学习Python053
http://pan.baidu.com/s/1bni0ExL
百度网盘（密码：gz5y）
----------
详细阅读 模块：像个极客一样去思考 – 零基础入门学习Python052
http://pan.baidu.com/s/1jGgk562
百度网盘（密码：x9as）
----------
详细阅读 模块：__name__=’__main__’、搜索路径和包 – 零基础入门学习Python051
http://pan.baidu.com/s/1gdzT17P
百度网盘（密码：fcem）
----------
详细阅读 模块：模块就是程序 – 零基础入门学习Python050
http://pan.baidu.com/s/1bnaZgC3
百度网盘（密码：1yh0）
----------
详细阅读 乱入：生成器 – 零基础入门学习Python049
http://pan.baidu.com/s/1kTMLSLh
百度网盘（密码：i0mu）
----------
详细阅读 魔法方法：迭代器 – 零基础入门学习Python048
http://pan.baidu.com/s/1pJ9M5PD
百度网盘（密码：rehp）
----------
详细阅读 魔法方法：定制序列 – 零基础入门学习Python047
http://pan.baidu.com/s/1hqvhH3Y
百度网盘（密码：8plr）
----------
详细阅读 魔法方法：描述符（property的原理）- 零基础入门学习Python046
http://pan.baidu.com/s/1rqkNG
百度网盘（密码：drj2）
----------
详细阅读 魔法方法：属性访问 – 零基础入门学习Python045
http://pan.baidu.com/s/1hqzRyvi
百度网盘（密码：u2ow）
----------
详细阅读 魔法方法：简单定制 – 零基础入门学习Python044
http://pan.baidu.com/s/1nt3eZUh
百度网盘（密码：bdsy）
----------
详细阅读 魔法方法：算术运算2 – 零基础入门学习Python043
http://pan.baidu.com/s/1nth0tK1
百度网盘（密码：gfq9）
----------
详细阅读 魔法方法：算术运算 – 零基础入门学习Python042
http://pan.baidu.com/s/1hqzl1jA
百度网盘（密码：0iga）
----------
详细阅读 魔法方法：构造和析构 – 零基础入门学习Python041
http://pan.baidu.com/s/1qWG6eDI
百度网盘（密码：xsem）
----------
详细阅读 类和对象：一些相关的BIF – 零基础入门学习Python040
http://pan.baidu.com/s/1bnrUfU3
百度网盘（密码：mvio）
----------
详细阅读 类和对象：拾遗 – 零基础入门学习Python039
http://pan.baidu.com/s/1nt40UI9
百度网盘（密码：7y1g）
----------
详细阅读 类和对象：继承 – 零基础入门学习Python038
http://pan.baidu.com/s/1pJp3L3t
百度网盘（密码：o95i）
----------
详细阅读 类和对象：面向对象编程 – 零基础入门学习Python037
http://pan.baidu.com/s/1dDo2obJ
百度网盘（密码：8bwb）
----------
详细阅读 类和对象：给大家介绍对象 – 零基础入门学习Python036
http://pan.baidu.com/s/1hqCcFvI
百度网盘（密码：pm0d）
----------
详细阅读 图形用户界面入门：EasyGui – 零基础入门学习Python035
http://pan.baidu.com/s/1dDeYMWx
百度网盘（密码：s8xu）
----------
详细阅读 丰富的else语句及简洁的with语句 – 零基础入门学习Python034
http://pan.baidu.com/s/1o6sTEum
百度网盘（密码：zt6q）
----------
详细阅读 异常处理：你不可能总是对的2 – 零基础入门学习Python033
http://pan.baidu.com/s/1c0lM016
百度网盘（密码：enaq）
----------
详细阅读 异常处理：你不可能总是对的 – 零基础入门学习Python032
http://pan.baidu.com/s/1pJHofQb
百度网盘（密码：zq0r）
----------
详细阅读 永久存储:腌制一缸美味的泡菜 – 零基础入门学习Python031
http://pan.baidu.com/s/1o660K8y
百度网盘（密码：3txa）
----------
详细阅读 文件系统:介绍一个高大上的东西 – 零基础入门学习Python030
http://pan.baidu.com/s/1gd8aYFx
百度网盘（密码：ovg3）
----------
详细阅读 文件:一个任务 – 零基础入门学习Python029
http://pan.baidu.com/s/1gdy76cr
百度网盘（密码：lydm）
----------
详细阅读 文件:因为懂你，所以永恒 – 零基础入门学习Python028
http://pan.baidu.com/s/1gdxR8v5
百度网盘（密码：p8b6）
----------
详细阅读 集合:在我的世界里，你就是唯一 – 零基础入门学习Python027
http://pan.baidu.com/s/1o6E8n6E
百度网盘（密码：su7n）
----------
详细阅读 字典:当索引不好用时2 – 零基础入门学习Python026
http://pan.baidu.com/s/1i3Dw9j3
百度网盘（密码：dxxo）
----------
详细阅读 字典:当索引不好用时 – 零基础入门学习Python025
http://pan.baidu.com/s/153uea
百度网盘（密码：h7u7）
----------
详细阅读 递归:汉诺塔 – 零基础入门学习Python024
http://pan.baidu.com/s/1i3uzHq9
百度网盘（密码：zaz1）
----------
详细阅读 递归:这帮坑爹的小兔崽子 – 零基础入门学习Python023
http://pan.baidu.com/s/1bnB6UN9
百度网盘（密码：gl4v）
----------
详细阅读 函数:递归是神马 – 零基础入门学习Python022
http://pan.baidu.com/s/1o6BQ3zW
百度网盘（密码：0nmw）
----------
详细阅读 函数:lambda表达式 – 零基础入门学习Python021
http://pan.baidu.com/s/1bnfINJT
百度网盘（密码：hyzq）
----------
详细阅读 函数:内嵌函数和闭包 – 零基础入门学习Python020
http://pan.baidu.com/s/1qWODAd2
百度网盘（密码：694k）
----------
详细阅读 函数:我的地盘听我的 – 零基础入门学习Python019
http://pan.baidu.com/s/1mgkQjqg
百度网盘（密码：3c13）
----------
详细阅读 函数:灵活即强大 – 零基础入门学习Python018
http://pan.baidu.com/s/1qWsP4Aw
百度网盘（密码：8mrf）
----------
详细阅读 函数:Python的乐高积木 – 零基础入门学习Python017
http://pan.baidu.com/s/153udK
百度网盘（密码：8gax）
----------
详细阅读 序列！序列！- 零基础入门学习Python016
http://pan.baidu.com/s/1mgECvNy
百度网盘（密码：9rm9）
----------
详细阅读 字符串:格式化 – 零基础入门学习Python015
http://pan.baidu.com/s/175lcM
百度网盘（密码：uuca）
----------
详细阅读 字符串:各种奇葩的内置方法 – 零基础入门学习Python014
http://pan.baidu.com/s/16Pkke
百度网盘（密码：b5h4）
----------
详细阅读 元组:戴上了枷锁的列表 – 零基础入门学习Python013
http://pan.baidu.com/s/1sj0UZ4D
百度网盘（密码：g7eo）
----------
详细阅读 列表:一个打了激素的数组3 – 零基础入门学习Python012
http://pan.baidu.com/s/1hqGg1i0
百度网盘（密码：xiji）
----------
详细阅读 列表:一个打了激素的数组2 – 零基础入门学习Python011
http://pan.baidu.com/s/1dDEkFNr
百度网盘（密码：hl9j）
----------
详细阅读 列表:一个打了激素的数组 – 零基础入门学习Python010
http://pan.baidu.com/s/1mgmSbEw
百度网盘（密码：mnzu）
----------
详细阅读 了不起的分支和循环03 – 零基础入门学习Python009
http://pan.baidu.com/s/1c0F8E8w
百度网盘（密码：rywd）
----------
详细阅读 了不起的分支和循环02 – 零基础入门学习Python008
http://pan.baidu.com/s/1gdH4zTp
百度网盘（密码：n0ux）
----------
详细阅读 了不起的分支和循环01 – 零基础入门学习Python007
http://pan.baidu.com/s/1kT9UIeb
百度网盘（密码：bvxw）
----------
详细阅读 Pyhon之常用操作符 – 零基础入门学习Python006
http://pan.baidu.com/s/1jGqtXR4
百度网盘（密码：ruqe）
----------
详细阅读 闲聊之Python的数据类型 – 零基础入门学习Python005
http://pan.baidu.com/s/1sj0oZ8p
百度网盘（密码：gz6y）
----------
详细阅读 改进我们的小游戏 – 零基础入门学习Python004
http://pan.baidu.com/s/1hqrdUVa
百度网盘（密码：vuhy）
----------
详细阅读 小插曲之变量和字符串 – 零基础入门学习Python003
http://pan.baidu.com/s/1pJxBomR
百度网盘（密码：h7kb）
----------
详细阅读 用Python设计第一个游戏 – 零基础入门学习Python002
http://pan.baidu.com/s/1c0wBKGC
百度网盘（密码：nttz）
----------
详细阅读 我和Python的第一次亲密接触 – 零基础入门学习Python001
http://pan.baidu.com/s/1ntDqzpv
百度网盘（密码：zz7x）
----------
详细阅读 愉快的开始 – 零基础入门学习Python000
http://pan.baidu.com/s/1i35UZit
百度网盘（密码：c5yn）
----------

最后编辑于：2017.12.06 00:41:12

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 218,386评论 6赞 506
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 93,142评论 3赞 394
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 164,704评论 0赞 353
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 58,702评论 1赞 294
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 67,716评论 6赞 392
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 51,573评论 1赞 305
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 40,314评论 3赞 418
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 39,230评论 0赞 276
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 45,680评论 1赞 314
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 37,873评论 3赞 336
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 39,991评论 1赞 348
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 35,706评论 5赞 346
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 41,329评论 3赞 330
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 31,910评论 0赞 22
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 33,038评论 1赞 270
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 48,158评论 3赞 370
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 44,941评论 2赞 355

鱼c python 教程 爬虫

推荐阅读更多精彩内容

鱼c python 教程爬虫