Python 学习——每天写点小东西-1

最近开始学习python,这里就作为学习记录,记录自己的python之路。
本条爬虫爬取的是糗事百科的24小时热门里面的,作者,内容,以及点赞数目。使用的是python3,以及requests和bs4里面的BeautifulSoup。代码如下:

import requests
from bs4 import BeautifulSoup


def trade_spider(max_page):
    page = 1
    while page <= max_page:
        url = 'http://www.qiushibaike.com/hot/page/' + str(page)
        source_code = requests.get(url)
        plain_text = source_code.text
        soup = BeautifulSoup(plain_text, 'html.parser')
        for content in soup.findAll('div', {'class': 'article block untagged mb15'}):            
            author = content.h2.string            
            detail = content.find('div', {'class': 'content'}).get_text()            
            like = content.i.string            
            with open('duanzi.txt', 'a') as file:                
                file.write(author + '\n')                
                file.write(detail + '\n')                
                file.write(like + '\n')                
                file.write('=*=' * 50 + '\n')        
        page += 1

trade_spider(1)

输出结果:

子小祎
老妈和二姨用手机视频聊天,听到二姨在那边说:“信号不好,光能看到你嘎巴嘴,听不着声儿”。老爸在一旁很淡定的说:“不是信号不好,她在那吃东西呢,没说话”。老爸太跟得上节奏了!
2191
==============================================
⌒oOㄣ先聖遺風の
这画我给满分
2410
=
==============================================
moomer
记得上学的时候每天骑自行车,我总是不带车锁。我爸老是提醒我把车锁上,还说一定一定要把车锁好,我问他为什么,他说怕我丢车。到后来,我问我妈这件事情,我妈说:“你爸上学的时候就是个偷车的…”
4471
===============================================
好客山东人民
老婆买了一袋大米,用电动车驮回家后才发现米袋子一角烂了个口子,在路上已经漏了许多大米。儿子赶紧走到门外,看着电动车刚才行驶的轨迹,自言自语说:这就是传说中的米线吧!7265
=
==============================================*

可以修改max_page来达到爬取多页面的效果。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • # Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列...
    aimaile阅读 26,546评论 6 427
  • 记录,给平淡的日子注入暖意。 亲子阅读六月清单: 1、《会玩的孩子最快乐》 150多页的书,对于两周半的,...
    人生不留白阅读 400评论 0 1
  • 我不会分辨,但我很想学会。 这里是一个现在看来是个失败的人,我一直认为自己的人生是三年河东三年河西,可能会有点迷信...
    猫小狄阅读 310评论 0 0
  • 《小戏骨》是湖南广播电视台“潘礼平团队”的品牌栏目。栏目在全国首创“小孩演大剧”,“演经典、学经典”的节目模式,所...
    第8日影院阅读 569评论 0 0