爬了一个相亲网站的数据能干点啥?

记一次无聊的画图练习。

最近,同学的弟弟开始被相亲了。被,这个字挺好,很好的诠释了他当前的处境吧,用在当年的我的身上,也许也行得通。

周末,和同学唠了会儿家常后一直坐在电脑前发呆。为什么不能主动,一定要被动呢?这个问题是我同学耿耿于怀的,谁让家里大事小事都要她操心呢!

我也是好奇,或者说是感同身受,一直憋着一股劲,想要替同学弟弟干一件主动的事。当然,身体还是很诚实的,只做自己的事。之后,一个相亲网站就被我爬了。也没什么特别会让人张针眼的信息,就几个字段。而且也不出所料的男多女少。瞅着这些,能干点啥呢?

要不,看看那些竞争者们的情况,比如身高、收入、学历。



Environment

·python 3.7.4

·jupyter notebook

导入数据


很简单的那么几列,我也就这点本事。

目标

我们这些小城市的三无老青年,只所以被逼婚被相亲,终其原因就是‘贫’。如果富的话,爸妈肯定是另外一套说辞,什么‘小心被女人骗’,你爱什么时候交,交几个都不会管。所以,就挖挖,我们这些老青年处在哪个阶层吧。身高真的还可以吗?这个年纪的收入一般会有多少?大部分的人学历都是怎么样的?从中挖出一点比自己改变的动力。

数据情况

本数据有11个字段,对本次瞎扯有意义的是性别、身高、教育水平、出生年份、薪水和省份。因为数据量并不大,城市暂不做考虑。为了规避隐私,我上图会将id和用户名遮掩。从严格上面讲,本数据会由于填写信息的人的不同目的而导致数据失真,本文纯当练手。

data.info()之后没有发现缺失值

第一图

想了解不同省份的身高差异,是不是正如刻板印象中的南矮北高。用箱线图的形式表现出来,直观展现各个省份男女平均身高,身高中位数的差异。

需要的数据 男(女):各省男(女)身高平均数(以此进行排序)。

1,查看身高数据中的空值和异常值,并剔除==>data1

2,筛选出男(女)数据,添加一列平均身高,数据为各省男(女)身高平均值==>data1

3,筛选出data1的 省份,身高,平均身高 做图数据==>data2

4, 画图

剔除异常

查看身高汇总之后,发现有填0的,有填1米的,1.4米,2.5米的也有。成年人,如果不是有特殊疾病的话也该都不会太矮或太高。剔除身高小于150和高于220的人。身高太高和太矮会对平均值造成影响。

data1=data[(data['身高']>=150) & (data['身高']<=220)]

接着还有对省份的检查


筛选出男(女)数据,计算身高平均值


然后将平均值关联到data1中。并筛选出省份、升高、平均升高字段。


接着,就可以画图了。使用matplotlib,一个比较复杂的包。


得出了这么个图。用平均值做了排序。从图中可以看出,广西、贵州平均值都是小于1.7米,中位数也刚好1.7米。看样子那里的人多数是不高的。但广西最高最矮的身高差挺大,难道是外来人口也比较多?广西,我只去过玉林,满街的狗肉摊。从图中看,浙江得平均值稍低于全国平均。实际计算全国也是172.91,浙江的数字在上上图中有显示。

此刻,值得欣慰的是,大众脸,大众名,大众身高。

重新查看了下各省的样本数,发现很很多省的用户数量是小于1000的。还是重点比一下人数上千的省份的中位数吧。

(data1[data1['性别']=='男'].pivot_table('用户id',index=['省份份'],aggfunc='count')>1000).iloc[1:,]

同透析表把人数多于1000的身份找出来。

计算出中位数,并把它添加到表中,对象名data3_men_1


图 1


图 2

所有的省份中,广东的用户最多,和同样是大城市的北京比起来,广东的身高更为集中(由于数量差异太大,图2中我没有将北京和广东放一起)。北京和山东都是北方,中位数相同,平均值却是山东高出不少,用图2的方法,可以看到山东的数据右偏了不少(文中没展现)。

有意思的一个详细,170公分是每个身份最多的。商量好的吗?可能大家都喜欢四舍五入吧。

小结:南北方,确实存在平均身高上的差异,还有在总数上的差异。较为显著的就是图2中,重庆和山东的比较,四川和北京的比较。

第二图

想了解不同年龄段的薪水状况,每个年龄段不同薪水的占比。

需要的数据:男(女)每个年龄段每个薪水段占该年龄段的比例,(年龄段、薪水、该薪水在该年龄段的比例)

1,查看薪水、出生年份数据中的空值和异常值,并剔除==>data_money1

2,筛选出男(女)数据,添加字段(年龄段)==>data1_money1

3,计算出该薪水在该年龄段的比例,生成DataFrame==>df_money_ratio

4, 画图

检查数据中发现,中有薪水为按照规定填写、出生年份有30年代、40年代、50年代和千禧年10代的,过于夸张,全部剔除。数量不到总数的1.7%。



接着就是画图


在修改参数的时候,我一直想让数字标签呆在它所对应的块状当中,却一直没有调好,原因是我在enumerate()参数中没有累加,或者是累加了发现数字标签中的数字也是累加的结果。曾想在不累加的情况下,对y轴维度进行修改,但永远也改不到统一。再后来又想在能否y_g-y_t这样的累减能帮助到我。但事与愿违。

最后,还是选择了添加一个变量。使得数字标签使用的值是这个后添加的变量的值。终于解决了这个问题。

如果有朋友能有更简单的方法,欢迎留言和我们这些小白分享,万分感谢!


小结:月薪上万不断的年轻化,更像鸡蛋,两头尖,但不是中间中间最大。曾几何时,40岁以上的中年人是这个社会的中流砥柱,慢慢的输给后辈的爆发力。中国的年轻人,好样的!

第三图

根据性别和教育水平画两个饼状图,分析不同学历在男(女)当中的比例,横向对比同等学历的占比

需要数据:字段(用户id,性别,教育水平)

1,检查教育水平和性别中有无异常和空值,剔除==>data4_edu

2, 筛选出男(女)数据,用户id,教育水平==》data4_edu

3,计算出该学历在男(女)中比例==>df_edu

4,画图

查看数据中发现教育水平字段中有不安规定填写的,剔除。另外也检索了下’院士‘,发现众多都是90后,和实际不符,剔除。


画图



小结:女性受高等教育的比例明显比男性高出很多。刷d音经常能看到女人精致的让男人高攀不起,这是否能为那些莫名的仰望添一把火。

总结:好好努把力吧,不管是年轻的或者是不年轻的男人们。尤其是像我们这种小城市的三无老青年。

今天开始加入简书葡萄园,摘葡萄吃葡萄,挖个坑,吐葡萄籽种葡萄!

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,047评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,807评论 3 386
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,501评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,839评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,951评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,117评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,188评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,929评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,372评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,679评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,837评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,536评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,168评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,886评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,129评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,665评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,739评论 2 351

推荐阅读更多精彩内容