南京链家爬虫系列文章(四)——图表篇

前言

在上一篇南京链家爬虫系列文章(三)——MongoDB篇中,我们已经数据保存为csv文件,此篇我们可以基于csv文件中的数据进行必要的图标展示的操作,必备工具:pyecharts,详细介绍请移步参加作者的主页,安装方式很简单,pip一下就可以了:

image.png

柱状图

比较简单,详见代码:

import pandas as pd
from pyecharts import Bar,Line,Overlap

df_src=pd.read_csv('nanjing.csv')
row = df_src[df_src.community_unit_price=='暂无参考均价'].index.tolist()
df=df_src.drop(row) # 删除无小区均价所在的行
data={}
data = df[['district','community','community_id','longtitude','latitude','community_unit_price']]
district = ['鼓楼', '溧水', '浦口', '江宁', '栖霞', '雨花台', '玄武', '秦淮', '建邺']
dis_ind=0 # 区域索引
# 二手房数量排名
temp=data['community'].value_counts()
num=50
attr=temp[0:num].index
val=temp[0:num].values
bar = Bar(district[dis_ind]+"二手房数量前%d排名" %num)
bar.add('bar', attr, val, is_label_show=True, is_datazoom_show=True, xaxis_rotate=30)
# line=Line()
# line.add('line',attr,val, is_label_show=True, is_datazoom_show=True)
# overlap=Overlap()
# overlap.add(bar)
# overlap.add(line)
# bar.show_config() # 打印输出图表的所有配置项
bar.render(district[dis_ind]+"二手房数量前%d排名.html" %num)

效果如下:


123.gif

地图显示篇

同样通过pyecharts自带的地图功能,可以在地图上显示各小区均价,代码如下:

import pandas as pd
from pyecharts import Geo

df_src=pd.read_csv('nanjing.csv')
row = df_src[df_src.community_unit_price=='暂无参考均价'].index.tolist()
df=df_src.drop(row) # 删除无小区均价所在的行
data={}
data = df[['district','community','community_id','longtitude','latitude','community_unit_price']]
district = ['鼓楼', '溧水', '浦口', '江宁', '栖霞', '雨花台', '玄武', '秦淮', '建邺']
dis_ind=0 # 区域索引
index=data['district']==district[dis_ind] # 提取值为dis_ind的索引,

data =[
    ('紫竹林1号', 27173), ('月光广场', 31193), ('卧龙湖小镇', 10683), ('天润城第十四街区', 23713), ('东渡国际青年城', 28992)
]
geo_cities_coords = {'紫竹林1号': [118.780703,32.091311],'月光广场':[118.7517653,32.06505319],
                     '卧龙湖小镇':[119.0605851,31.72704304],'天润城第十四街区':[118.737714,32.16147],
                     '东渡国际青年城':[118.8454192,31.93771896]}
geo = Geo("南京", "二手房小区均价", title_color="#fff",
          title_pos="center", width=1200,
          height=600, background_color='#404a59')
attr, value = geo.cast(data)
geo.add("", attr, value, maptype='南京', type="effectScatter",
        is_random=True, effect_scale=5, is_legend_show=False,
        geo_cities_coords=geo_cities_coords)
geo.render('hello.html')

打开当前路径下的hello.html文件即可查看效果,只简单的去了五个小区,效果如下:


123.gif

热力图篇

准备工作,在进行热力图的制作之前需要先阅读几篇文章:
python调用百度地图API实现经纬度换算、热力地图全流程指南
【新年快乐,跨年文章】Python+百度API 画出美美哒热力地图(代码+数据)
通过这两篇文章我们需要做几件事

第一件事

申请百度开发者账号,获得ak略...

第二件事

确定地图中心点,http://api.map.baidu.com/lbsapi/creatmap/通过这个网址输入地名即可

第三件事

生成经纬度数据,count值可以为小区均价,二手房首付,或者其他什么的...生成的经纬度数据替换图中的var points,按照格式替换即可


image.png

第四件事

修改热力图的半径和count的最大值,因为数据太多,因此只选择了几个点进行测试,通过观察,points的最大值在60000以下,因此半径和最大值设置如下:


image.png

第五件事

点击运行按钮即可


image.png

热力图生成代码:

<!DOCTYPE html>
<html>
<head>
    <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
    <meta name="viewport" content="initial-scale=1.0, user-scalable=no" />
    <script type="text/javascript" src="http://api.map.baidu.com/api?v=2.0&ak=您的密钥"></script>
    <script type="text/javascript" src="http://api.map.baidu.com/library/Heatmap/2.0/src/Heatmap_min.js"></script>
    <title>热力图功能示例</title>
    <style type="text/css">
        ul,li{list-style: none;margin:0;padding:0;float:left;}
        html{height:100%}
        body{height:100%;margin:0px;padding:0px;font-family:"微软雅黑";}
        #container{height:500px;width:100%;}
        #r-result{width:100%;}
    </style>    
</head>
<body>
    <div id="container"></div>
    <div id="r-result">
        <input type="button"  onclick="openHeatmap();" value="显示热力图"/><input type="button"  onclick="closeHeatmap();" value="关闭热力图"/>
    </div>
</body>
</html>
<script type="text/javascript">
    var map = new BMap.Map("container");          // 创建地图实例

    var point = new BMap.Point(118.802422,32.064653);
    map.centerAndZoom(point, 15);             // 初始化地图,设置中心点坐标和地图级别
    map.enableScrollWheelZoom(); // 允许滚轮缩放
  
    var points =[
    {"lat":32.091311,"lng":118.780703,"count":27173},
    {"lat":32.0650531878,"lng":118.75176535,"count":31193},
    {"lat":31.7270430391,"lng":119.060585074,"count":10683},
    {"lat":32.16147,"lng":118.737714,"count":23713},
    {"lat":31.9377189597,"lng":118.845419154,"count":28992},
    {"lat":32.0975408803,"lng":118.920418487,"count":32055},
    {"lat":31.9684060782,"lng":118.764814167,"count":35856},
    {"lat":32.063616,"lng":118.796992,"count":56820},
    {"lat":32.038831,"lng":118.797207,"count":39698},
    {"lat":32.002376,"lng":118.745826,"count":55555}];
   
    if(!isSupportCanvas()){
        alert('热力图目前只支持有canvas支持的浏览器,您所使用的浏览器不能使用热力图功能~')
    }
    //详细的参数,可以查看heatmap.js的文档 https://github.com/pa7/heatmap.js/blob/master/README.md
    //参数说明如下:
    /* visible 热力图是否显示,默认为true
     * opacity 热力的透明度,1-100
     * radius 势力图的每个点的半径大小   
     * gradient  {JSON} 热力图的渐变区间 . gradient如下所示
     *  {
            .2:'rgb(0, 255, 255)',
            .5:'rgb(0, 110, 255)',
            .8:'rgb(100, 0, 255)'
        }
        其中 key 表示插值的位置, 0~1. 
            value 为颜色值. 
     */
    heatmapOverlay = new BMapLib.HeatmapOverlay({"radius":20});
    map.addOverlay(heatmapOverlay);
    heatmapOverlay.setDataSet({data:points,max:60000});
    //是否显示热力图
    function openHeatmap(){
        heatmapOverlay.show();
    }
    function closeHeatmap(){
        heatmapOverlay.hide();
    }
    closeHeatmap();
    function setGradient(){
        /*格式如下所示:
        {
            0:'rgb(102, 255, 0)',
            .5:'rgb(255, 170, 0)',
            1:'rgb(255, 0, 0)'
        }*/
        var gradient = {};
        var colors = document.querySelectorAll("input[type='color']");
        colors = [].slice.call(colors,0);
        colors.forEach(function(ele){
            gradient[ele.getAttribute("data-key")] = ele.value; 
        });
        heatmapOverlay.setOptions({"gradient":gradient});
    }
    //判断浏览区是否支持canvas
    function isSupportCanvas(){
        var elem = document.createElement('canvas');
        return !!(elem.getContext && elem.getContext('2d'));
    }
</script>

复制如上代码粘贴在http://lbsyun.baidu.com/jsdemo.htm#c1_15的源代码编辑器中运行即可

最后一件事

不知道是什么原因,我只能看看有限的几个点,可能我在百度地图那里没进行实名认证吧,能运行的权限有限,点数一多就没结果...
另,如果有任何问题,欢迎邮件交流:myprojtest@163.com
爬虫系列文章:
南京链家爬虫系列文章(一)——工具篇
南京链家爬虫系列文章(二)——scrapy篇
南京链家爬虫系列文章(三)——MongoDB数据读取
南京链家爬虫系列文章(四)——图表篇

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 217,277评论 6 503
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,689评论 3 393
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,624评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,356评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,402评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,292评论 1 301
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,135评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,992评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,429评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,636评论 3 334
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,785评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,492评论 5 345
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,092评论 3 328
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,723评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,858评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,891评论 2 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,713评论 2 354

推荐阅读更多精彩内容

  • scrapy的介绍百度那里一堆的资料,此处不再赘述,我主要参考崔庆才的文章小白进阶之Scrapy第一篇,我的工程路...
    haffner2010阅读 1,294评论 0 1
  • Android 自定义View的各种姿势1 Activity的显示之ViewRootImpl详解 Activity...
    passiontim阅读 172,104评论 25 707
  • 写在前面的话 本文参考的信息如下: 【房价网房价信息爬虫】整站40万条房价数据并行抓取,可更换抓取城市 pytho...
    haffner2010阅读 1,762评论 0 3
  • 有人说,世上有一种慈悲的水,里面有前世的灵魂,后世的期盼与愿望。 悲伤也会流,高兴也会流;分离也会流,团聚也会流;...
    棱云木阅读 90评论 0 0
  • “拍马屁”让人不齿,那些言不由衷、阿谀奉承的拙劣表演,的确让人心生厌恶、汗毛倒立。然而,抛开道德的大棒,将拍马屁单...
    朝天扬帆阅读 2,197评论 2 2