import requests
import re
def get_one_page(url):
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36'}
res = requests.get(url, headers=headers)
return res.text
def parse_one_page(html):
pattern=re.compile('<div class="one-cont".*?<i>(.*?)</i>.*?<a href=.*?>(.*?)</a>.*?</div>',re.S)
items=re.findall(pattern,html)
for item in items:
yield {
'author':item[0],
'content':item[1]
}
def main():
url = 'https://www.xiaohua.com/duanzi?page=1'
html=get_one_page(url)
for item in parse_one_page(html):
print(item)
if __name__=='__main__':
main()
2019-10-09 笑话网爬虫（练习requests）
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
- 文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
推荐阅读更多精彩内容
- HTTP协议 HTTP协议，即超文本传输协议(Hypertext transfer protocol)。HTTP协...
- 1.安装并测试 requests库 1.1 管理员权限启动cmd控制台，安装requests库 1.2 启动jup...
- 1，练习学习涉及bs4解析网页2，登录时对登录有formhash设定3，需使用fiddler抓包工具抓到4，主要为...
