- 学习beautifulsoup，并使用beautifulsoup提取内容。
- 使用beautifulsoup提取丁香园论坛的回复内容。
- 丁香园直通点：http://www.dxy.cn/bbs/thread/626626#626626 。
- 参考资料：https://blog.csdn.net/wwq114/article/details/88085875
1.学习beautifulsoup
BeautifulSoup是一个可以将复杂的HTML文档转换成一个复杂的树形结构，每个节点都是python对象，所有对象可以归纳为4种：Tag、NavigableString、BeautifuSoup和Comment。
find函数
find(name, attrs, recursive, text, **wargs) # recursive 递归的，循环的
这些参数相当于过滤器一样可以进行筛选处理。不同的参数过滤可以应用到以下情况：
- 查找标签，基于name参数
- 查找文本，基于text参数
- 基于正则表达式的查找
- 查找标签的属性，基于attrs参数
- 基于函数的查找
2.使用beautifulsoup提取丁香园论坛的回复内容
import urllib.request
from bs4 import BeautifulSoup as bs
def main():
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"
}
url = 'http://www.dxy.cn/bbs/thread/626626'
request = urllib.request.Request(url, headers=headers)
response = urllib.request.urlopen(request).read().decode("utf-8")
html = bs(response, 'lxml')
getItem(html)
def getItem(html):
datas = [] # 用来存放获取的用户名和评论
for data in html.find_all("tbody"):
try:
userid = data.find("div", class_="auth").get_text(strip=True)
print(userid)
content = data.find("td", class_="postbody").get_text(strip=True)
print(content)
datas.append((userid,content))
except:
pass
print(datas)
if __name__ == '__main__':
main()
