#天气预报
import requests
import json
import csv
f = open('JS.csv', 'a', newline='', encoding='gbk')
write = csv.writer(f)
# 写入index
write.writerow(['日期', '高温', '低温', '相对湿度'])
for i in ['01', '02', '03', '04', '05', '06', '07', '08', '09', '10', '11', '12', '13']:
#按月份循环
url = 'http://d1.weather.com.cn/calendar_new/2017/101210101_2017%s.html?_=1502786294211' % i
headers = {
'Host': 'd1.weather.com.cn',
'Connection': 'keep-alive',
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36',
'Accept': '*/*',
'Referer': 'http://www.weather.com.cn/weather40d/101210101.shtml',
'Accept-Encoding': 'gzip, deflate',
'Accept-Language': 'zh-CN,zh;q=0.8',
'Cookie': 'vjuids=d20d90710.15de4c794ac.0.6016dd9676ec9; BIGipServerd1src_pool=1874396221.20480.0000; UM_distinctid=15de4c795a0260-0e09ba56654c25-5c1b3517-1fa400-15de4c795a1407; __asc=9e20a3cb15de4f1b3c91a9f00b4; __auc=530e787715de4c7acf66d9b28f2; returnUrl=http%3A%2F%2Fwww.weather.com.cn%2Fprofile%2Fcity.shtml; f_city=%E6%9D%AD%E5%B7%9E%7C101210101%7C; Hm_lvt_080dabacb001ad3dc8b9b9049b36d43b=1502781872; Hm_lpvt_080dabacb001ad3dc8b9b9049b36d43b=1502786257; vjlast=1502781871.1502781871.30'
}
#请求网页内容
html = requests.get(url, headers=headers, timeout=3).content.decode('utf-8')
#解析结果
h1 = html.lstrip('var fc40 = [').split('},')
#打开文件
for i in h1:
if i.endswith(']'):
i = i.rstrip(']')
elif not i.endswith('}'):
i = i + '}'
h2 = json.loads(i)
#写入日期内容
write.writerow([h2['date'],h2['hmax'],h2['hmin'],h2['hgl']])
【Python爬虫】--最后一周作业
最后编辑于 :
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
- 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
推荐阅读更多精彩内容
- 一、作业内容 Mr_Cxy发布作业很久了,出了个差感觉已经被甩十万八千里了,希望组织不要抛弃我,我也不放弃自己,开...
- 一、作业内容 作业越拖越多怎么办,跪了 。 二、作业代码 习题27:记住逻辑关系 习题28:布尔表达式练习 习题2...
- 作业要求: 作业要求更改说明:由于58同城页面改版,二手商品的个人卖家均改为了“转转”,因此,本次爬虫作业,无法屏...