爬取中国天气网 你所在城市过去一年的历史数据
http://www.weather.com.cn/forecast/
首先打开这个网站，搜索杭州
搜索页
发现40天这里可以前滚
40天
往前翻了几个月，发现多了几个js，看小伙伴的文章学到了这里是异步加载js
network分析
分析
分析
分析
通过对比分析以及参考小伙伴的文章，对url进行分析
http://d1.weather.com.cn/calendar_new/2017/101210101_201703.html?_=1495879439388
101210101是和城市有关，1495879439388是时间戳，略去不影响
代码实现：
url = "http://d1.weather.com.cn/calendar_new/" + str(year) + "/101210101_" + year + month + ".html"
继续分析
response
response
response
喜闻乐见，直接就返回json了。
每一次都要让自己提高一点，于是我这次选择存为csv文件。下次再试试MongoDB。
不对废话了，直接贴代码了。
# -*- coding:utf-8 -*-
import json
import requests
import csv
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
def request(year, month):
url = "http://d1.weather.com.cn/calendar_new/" + str(year) + "/101210101_" + year + month + ".html"
headers = {
"User-Agent": "Mozilla / 5.0(Windows NT 6.1;Win64;x64)"
"AppleWebKit / 537.36(KHTML, likeGecko)"
"Chrome / 58.0.3029.110"
"Safari / 537.36",
"Referer": "http://www.weather.com.cn/weather40d/101210101.shtml"
}
return requests.get(url=url, headers=headers)
def save(req):
json_str = req.content.decode(encoding='utf-8')[11:]
weathers = json.loads(json_str)
for weather in weathers:
with open('weather_hangzhou.csv', 'a') as f:
f_csv = csv.writer(f)
f_csv.writerow([weather.get('date'), weather.get('wk'), weather.get('hmax'),
weather.get('hmin'), weather.get('hgl')])
if __name__ == '__main__':
year = input('请输入年份')
year = str(year)
with open('weather_hangzhou.csv', 'w') as f:
f_csv = csv.writer(f)
f_csv.writerow(['日期', '星期', '最高温', '最低温', '降水概率'])
for month in range(1, 13):
month = str(month) if month > 9 else "0" + str(month)
save(request(year, month))
结果
注意点：
1.请求头要加上referer参数，否则返回403。
"这是因为这是浏览器发出请求时，会通过Referer告诉服务器我是从哪个页面链接过来的，有些网站会对这个做验证，主要时为了防止别人盗链的问题。
这个中国天气网，就是验证了Referer里的域名是不是自己的，不是的话就会403禁止访问服务器。"引用小伙伴的原话。
2.Pyhton2.7编码问题
# -*- coding:utf-8 -*-
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
这几行很重要，基本的编码问题都能解决。
3.多食用官方文档，其实我对Requests包不是很熟，就去查了一下官方文档。
Requests
Requests
多么可爱的开发者啊。
这次的爬虫作业虽然花的时间有点多，但是学到了很多东西，除了以上所说的，还用上了上次直播学到的PyCharm的dubug模式，断点调试让我找bug快了很多。
最后，再次感谢两位小伙伴的干货，站在巨人的肩膀上就是这么嗨皮。
http://www.jianshu.com/p/93815a8beb8f
http://www.jianshu.com/p/ff7bb9fc9533
