一：前言

v2ex是一个汇集各类奇妙好玩的话题和流行动向的网站，有很多不错的问答。这次爬虫是五一期间做的，贴出来网址https://www.v2ex.com/?tab=all。

目标：爬取全部分类中的文章标题，分类，作者，文章地址这些内容然后以csv格式保存下来。

Paste_Image.png

二：说明

• 本次使用的是Python3.6版本
• 作者这个内容是js动态数据 使用xpath Beautifulsoup的tag和select都抓取不到，我试了试用正则表达式可以，目前还没学其他方法就这样头铁了。
• 使用csv保存数据的时候我发现writer.writerow()和writer.writerows()是不一样的，本次用的前者。

三：实战分析

1.导入本次使用的模块，csv， re， requests， BeautifulSoup。

import csv, requests, re
from bs4 import BeautifulSoup

2.请求网页与解析网页。

url = 'https://www.v2ex.com/?tab=all'
html = requests.get(url).text
soup = BeautifulSoup(html, 'html.parser')

3.先看一下网页结构。

Paste_Image.png

然后来获取文章标题，分类，作者，文章地址，这里的标题和分类都很容易获取，使用BeautifulSoup解析后按照class就可以找到，然后使用get_text()即可获取我们需要的内容，最头疼的是作者和文章链接，我这里使用正则才把他们挖掘出来，不过也算是练习正则表达式的使用。最后把获取的内容都传给articles列表。

articles = []
for article in soup.find_all(class_='cell item'):
    title = article.find(class_='item_title').get_text()
    category = article.find(class_='node').get_text()
    author = re.findall(r'(?<=<a href="/member/).+(?="><img)', str(article))[0]
    u = article.select('.item_title > a')
    link = 'https://www.v2ex.com' + re.findall(r'(?<=href=").+(?=")', str(u))[0]
    articles.append([title, category, author, link])

4.把列表中的数据保存在csv中，并且给他们第一行写入标题。

with open('v2ex.csv', 'w') as f:
    writer = csv.writer(f)
    writer.writerow(['文章标题', '分类', '作者', '文章地址'])
    for row in articles:
        writer.writerow(row)

四：总结

最后的效果：

Paste_Image.png