无标题文章

摘要

学Python不拿来写爬虫,总能对得起这门具有强大爬虫功能的脚本语言呢。
现在就来讲讲如何利用网页爬虫来写一个天气预报采集器,主要就是在中国天气网上爬取网页并过滤数据,得到需要的天气信息并打印出来。
这个爬虫例子实现的功能不仅可以查全国城市的天气情况,也可以查一个省份或直辖市的总体天气情况,如输入“广东”则会列出广东省内所有地方的天气。
Python版本:2.7
系统平台:ubuntu 14.04

编程思想

http://www.weather.com.cn/data/cityinfo/%s.html 这个中国天气网的链接即可显示对应城市的天气,其中%s是城市编码,如北京的城市编码是101010100,则浏览器地址栏输入http://www.weather.com.cn/data/cityinfo/101010100.html 即可显示北京的天气信息。这样就可以生成城市和城市编码的字典,输入城市转化为编码,并嵌入到上述链接中,过滤得到相应的信息并打印出来。
那么,列出一个省份中所有城市的天气怎么实现呢?也很简单,我注意到一个省份的所有城镇的城市编码前5位都是一样的,如广东省的广州啊,深圳啊,东莞啊等等这些城市的编码前5位都是10128,因此可以生成省份和5位省份编码的字典,输入省份转化为编码,再加上剩余的4位并嵌入到上述链接中,过滤得到相应的信息并打印出来。
编程思想有了,敲代码就简单了,我自己实现的代码如下:
代码里city和provincce都是一个字典文件,字典的key是城市名称,value是城市编码。运行程序的效果如下:

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • EXCEL小白的进阶之路 从16年3月申请的小号,到现在发表的微文,屈指可数,纠结于想要好的内容,好的页面排版,然...
    Rachelhaha阅读 4,944评论 0 0
  • 转至元数据结尾创建: 董潇伟,最新修改于: 十二月 23, 2016 转至元数据起始第一章:isa和Class一....
    40c0490e5268阅读 5,872评论 0 9
  • 生活,他妈什么鬼,都去死吧!!!
    泥叶阅读 1,198评论 0 0
  • 很开心能够被评为大头早起成长营第三期的优秀学员,并代表读书组做分享。 虽然一开始确实有向着优秀学员努力的想法;可是...
    mydjohnson阅读 4,351评论 3 49
  • 说起中国古代的美女,大家首先想到的是‘’四大美女‘’王昭君、西施、貂蝉、杨玉环。由于无图无真相(不过现在的照片由于...
    水中沚阅读 7,265评论 38 42

友情链接更多精彩内容