准备材料
一：使用到的Python第三方库是requests 和 BeautifulSoup
二：选择要爬取的网页
我选择了豆瓣小组里的一个帖子回复（是微博或者微信的签名，个人感觉比较有意思）
地址是：https://www.douban.com/group/topic/80125952/
三：分析网页源代码
打开地址后，右键-查看网页源代码
我们爬取的p标签,class="reply-content"里的内容
14345926-4252580093d33a3b.png
具体的代码如下
import requests
from bs4 import BeautifulSoup
import time
#设置请求header伪装成浏览器
headers = {'user-agent':'Mozilla/5.0 (iPad; CPU OS 11_0 like Mac OS X) AppleWebKit/604.1.34 (KHTML, like Gecko) Version/11.0 Mobile/15A5341f Safari/604.1'}
for i in range(29):
url = 'https://www.douban.com/group/topic/80125952/?start=' + str(i*100)
req = requests.get(url,headers=headers) #获取网页请求
content = req.content #获取到的网页请求的具体内容
soup = BeautifulSoup(content,'lxml') #把获取到的网页请求内容构造成 BeautifulSoup 对象
replycontents = soup.find_all(name='p',attrs={'class':'reply-content'})# 使用 find_all 查找文档树中标签为p,class="reply-content" 的所有内容
try:
for replycontent in replycontents:
text = replycontent.string
print(text)
except:
TypeError
time.sleep(5)
运行的结果部分截图如下
14345926-914b656a5db2a921.png
