作业代码
# -*- coding: utf-8 -*-
import lxml
import requests
import re
import sys
from bs4 import BeautifulSoup
import csv
reload(sys)
sys.setdefaultencoding("utf-8")
def get_data(link):
headers = {"user-agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"}
#link = 'http://www.jianshu.com/trending/weekly?utm_medium=index-banner-s&utm_source=desktop'
html = requests.get(link, headers=headers)
soup = BeautifulSoup(html.content, 'html.parser')
total = []
total_data = soup.findAll("div", {"class": "content"})
for alone_data in total_data:
alone = []
author = alone_data.find("a", {"class": "blue-link"}).get_text()
title = alone_data.find("a", {"class": "title"}).get_text()
meta = alone_data.find("div", {"class": "meta"})
read_num = meta.findAll("a", {"target": "_blank"})[0].get_text()
comment_num = meta.findAll("a", {"target": "_blank"})[1].get_text()
like_num = meta.findAll("span")[0].get_text()
post_date = alone_data.span['data-shared-at']
alone.append(post_date)
alone.append(author)
alone.append(title)
alone.append(read_num)
alone.append(comment_num)
alone.append(like_num)
try:
money_num = meta.findAll("span")[1].get_text()
alone.append(money_num)
except:
alone.append("没赞赏")
total.append(alone)
return total
if __name__ == "__main__":
f = file('jian.csv', 'wb')
f.write('\xEF\xBB\xBF')
writer = csv.writer(f)
for i in range(1,6):
link = 'http://www.jianshu.com/trending/weekly?&page=%s' %i
print "正在处理" + str(i)
p = get_data(link)
for m in p:
writer.writerow(m)
f.close()
print "处理完毕"
作业结果
作业结果
作业的结果
作业的思路
本来是打算用scrapy的，但是由于才刚开始看scrapy文档，就卡在输出item上了，就还是选择了老套路，单线程爬虫。
思路比较简单，就是找标签，不过在异步加载这里卡了挺久的，由于做爬虫的经验也比较少，没有遇到过有异步加载的网站，只见过一个视频里有讲到过异步加载，也只是一笔带过，只记得是构造表单，经过一阵观察，只看到两个比较可能的地方
可能一、
page2
看到这，想到了构造表单，但是发现有很多
id，也没有办法来构造表单，无奈放弃，另找出路可能二、
注意page2
这里也出现了一个page2，但是看到这么一长串的id号，实在是吓人，一开始不太相信，但是又看了下另一个page3
注意page3
于是联想，有没有这样一种可能，每个七天榜的id都是不一样的，id也许与页面无关，又尝试了一下，把id删了，只保留page=x，于是有
分页展示
接下来的事情就简单了...
在作业中遇到的坑
坑一、在调试的过程中，总是被return的位置所困扰，以至于得不到想要的结果，说明自己在逻辑判断这一块还是有所欠缺
坑二、关于写入到csv文件中，在输出的到csv文件中，并转化成excel文件后，发现read_num和comment_num这两列无法排序，纠其原因，是无法选取其值，将他们复制下来到文本中，发现多了几个引号：
无法显示值
多了引号
想来想去，都不知道是什么原因，不知道如何改正，只能自己手动清洗一下
要改进的地方
- 单线程爬虫还是太慢了，保存的方式也是有限的，更应该用scrapy来写，为日后大数据爬取打下基础
- 由于时间比较赶，也没有来得急进行分词，和统计并进行分析，也说明自己在写爬虫这一方面还是不太熟练，总是要翻文档
