需求分析
先来看一下目标网站。
搜狗微信搜索页面
这次爬取的内容是通过搜狗微信的接口获取微信文章的 url 然后提取目标文章的内容及公众号信息。
可以指定内容进行爬取
那这次需要解决的问题有哪些呢？
需要解决的问题
搜狗微信在没有登录的情况下可以爬取十页信息，我们想要获取更多的信息只能登录。在登录的情况下，爬取数据量太大会被封 IP 。这里给出的解决方案是使用代理池的方法。我这里是自己搭建了一个小的IP代理池，在我以前的文章里有详细的描述，可以 点这里 查看。
代码演示
proxy = None # 声明代理为 None 也就是开始的时候用本机的ip爬取
count_max = 5 # 设置一个连接错误，如果连接超过五次都出错就停止爬取，要不然程序陷入死循环。
# 请求头的设置要加上cookie
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36',
}
# 获取代理
def get_proxy():
proxy = GetIP()
return proxy.get_random_ip()
# 请求页面，这里主要使用了代理，一开始使用的是本机代理，被封之后换个ip来爬。
def get_request(url,count=1):
global proxy
if count >= count_max:
print('请求太多次了，这个方法不行啦，换换吧')
try:
if proxy:
proxies = {'http': 'http://' + proxy}
r = requests.get(url, headers=headers,proxies=proxies, allow_redirects=False)
else:
print('第一次请求，使用本机的ip')
r = requests.get(url,headers=headers,allow_redirects=False)
if r.status_code == 200:
print('第一页')
return r.text
if r.status_code == 302:
print('状态码302了，快换代理吧')
proxy = get_proxy()
if proxy:
print('正在使用代理爬取', proxy)
return get_request(url)
else:
print('获取代理出错')
return None
except ConnectionError as e:
count += 1
proxy = get_proxy()
return get_request(url,count)
解释
这里是整个代码的核心，我们先用本机的 ip 来爬取数据，如果爬取的量大起来，会封 ip ，然后 url 会重定向到输入验证码的页面，我们可以根据状态码是 302 来判断这一情况，然后使用代理。并递归调用函数本身用ip来爬。
有些时候状态码不是302，也不是200 ，这时候就是连接的问题，我们也使用代理来解决这一问题。并计数，连接出现问题的次数超过五次就停止，这样的情况下是别的问题，不要让在自己调用自己死循环，退出重新检查代码逻辑。
我的代码里面没有加 cookie ，使用的时候加上cookie 才能爬取十页以后的内容。
# 解析页面得到微信文章的详情url
def parse_page(html):
data = etree.HTML(html)
li = data.xpath('//ul[@class="news-list"]/li')
for i in li:
url = i.xpath('./div[2]/h3[1]/a/@href')[0]
parse_detial(url)
break
# 解析详情页获取微信公众号标题，作者，内容。
def parse_detial(url):
response = requests.get(url,headers=headers)
if response.status_code == 200:
html = etree.HTML(response.text)
title = html.xpath('//h2[@id="activity-name"]/text()')
if title:
title = title[0].strip()
wechat_name = html.xpath('//a[@id="js_name"]/text()')
if wechat_name:
wechat_name = wechat_name[0].strip()
wechatid = html.xpath('//span[@class="profile_meta_value"]/text()')[0]
# 获取内容，xpath 虽然好用，但是这一时半会也没找到怎么获取文章内容的方法，就用 pyquery 吧，其实就是css选择器
doc = pq(response.text)
content = doc('.rich_media_content').text()
result = {'title':title,
'wechat_name':wechat_name,
'wechatid':wechatid,
'content':content}
print(result)
#
# 不适合导出CSV格式，应该导出json格式
# ws = [title,wechat_name,wechatid,content]
# print(ws)
# with open('weixin_article.csv','a',newline='') as f:
# writer = csv.writer(f)
# writer.writerow(ws)
def main():
# 处理翻页
for page in range(1):
KEYWORD = '数据分析' # 这里可以更改关键字
url = 'https://weixin.sogou.com/weixin?query='+ KEYWORD + '&type=2&page={}'.format(page)
html = get_request(url)
parse_page(html)
if __name__ == '__main__':
main()
这之后的代码就是常规的爬虫写法，并没有什么说道。
这里我用 xpath 没有获取到文章的内容，用了 pyquery 这个解析库，其实就是css 选择器。应该用xpath 也是可以获取到内容的，可能是没有想到怎么写，技术还是要在锻炼呀。
这里存储爬取下来的数据就没有再写下去了，跟之前的一样就好了，存到mongodb 。我主要是复习一下代理 ip 的使用。
本文完！
