2.知乎数据清洗及研究

使用软件:anaconda下的spyder

总结:
1.绘图中文乱码的处理;
2.pd.marge(left_index=True)连接,左表字段是index时
3.*args函数的使用
4.绘图时,轴的下标从0开始
5.matplotlib添加(刻度、X轴、Y轴、标题、图例等)和seaborn的区别
6.打印plt.text文字的处理:
for i,j,n in zip(x,y,q2data_c.index):
plt.text(i+500,j,n, color = 'k')

尚未解决的问题:使用seaborn给柱柱状图添加数值!!!

1.导入相关模块:

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

import warnings
warnings.filterwarnings('ignore')

plt.rcParams['font.sans-serif'] = ['Arial Unicode MS']#解决绘图中文乱码问题

2.加载数据

import os
os.chdir('/Users/liyili2/Downloads/datas/python_wei/04/')
df1=pd.read_csv('知乎数据_201701.csv',encoding ='GB18030')
df2=pd.read_csv('六普常住人口数.csv',encoding = 'GB18030')
print('finished!')
df1.head()
df2.head()
image.png

3.数据清洗:

数据清洗 - 去除空值
文本型字段空值改为“缺失数据”,数字型字段空值改为 0
要求:创建函数
提示:fillna方法填充缺失数据,注意inplace参数

def data_cleaning(data):
    cols=data.columns
    for col in cols:#这种情况,我以为要用range(cols)
        if data[col].dtype=='object':
            data[col].fillna('缺失数据',inplace = True)
        else:
            data[col].fillna(0,inplace = True)
    return data

df1_c1=data_cleaning(df1)
image.png

4.知友全国地域分布情况,分析出TOP20

"""
要求:
① 按照地域统计 知友数量、知友密度(知友数量/城市常住人口),不要求创建函数
② 知友数量,知友密度,标准化处理,取值0-100,要求创建函数
③ 通过多系列柱状图,做图表可视化
"""

df1_city = df1_c1.groupby('居住地').count()  # 按照居住地统计知友数量
df2['city'] = df2['地区'].str[:-1]   # 城市信息清洗,去掉城市等级文字
#print(df1_city.head())  
#print(data2.head())  

q1data = pd.merge(df1_city,df2, left_index = True, right_on = 'city', how = 'inner')[['_id','city','常住人口']]
q1data['知友密度'] = q1data['_id']/q1data['常住人口'] 

'''方法一:'''
#colname= '_id' + '_nor'
#q1data[colname]=(q1data['_id']-q1data['_id'].min())/(q1data['_id'].max()-q1data['_id'].min())*100
# 
#colname2= '知友密度' + '_nor'
#q1data[colname2]=(q1data['知友密度']-q1data['知友密度'].min())/(q1data['知友密度'].max()-q1data['知友密度'].min())*100
#       
'''方法二:'''
def data_norm(df,*cols):#*args函数的使用还是不太习惯哦
    
    for col in cols:
        colname= col + '_nor'
        df[colname]=(df['_id']-df['_id'].min())/(df['_id'].max()-df['_id'].min())*100
        
    return df  

result1=data_norm(q1data,'_id','知友密度')
q1data_top20_f1=result1.sort_values('_id_nor',ascending=False)[['city','_id_nor']][:20]
q1data_top20_f2=result1.sort_values('知友密度_nor',ascending=False)[['city','知友密度_nor']][:20]

'''使用seaborn方法:'''
 
fig1,axes=plt.subplots(2,1,figsize=(20,16))
g1=sns.barplot(x='city',y='_id_nor',data=q1data_top20_f1,ax=axes[0])
 # ax = sns.barplot(x="day", y="tip", data=tips, ci="sd")
axes[0].set_title('知友数量top 20',fontsize=20)
axes[0].set_xlabel('城市',fontsize=30)
axes[0].set_ylabel('知友数量',fontsize=30)
axes[0].legend("知友数量城市分布")

sns.barplot(x=q1data_top20_f2['city'],y=q1data_top20_f2['知友密度_nor'],ax=axes[1])
axes[1].set_title('知友密度top 20',fontsize=20)
axes[1].set_xlabel('城市',fontsize=30)
axes[1].set_ylabel('知友密度',fontsize=30)
axes[1].legend('知友密度城市分布')

'''使用matplotlib方法:'''
#fig,axes=plt.subplots(2,2,figsize=(20,16))
#q1data_top20_f1.plot.bar(ax=axes[0,0])
#axes[0,0].set_xticklabels(q1data_top20_f1['city'],rotation=315)
#
#q1data_top20_f2.plot.bar(ax=axes[0,1])
#axes[0,1].set_xticklabels(q1data_top20_f2['city'],rotation=315)
#
#q1data_top20_f1.plot.bar(ax=axes[1,1])
#axes[1,1].set_xticklabels(q1data_top20_f1['city'],rotation=315)
#
#q1data_top20_f2.plot.bar(ax=axes[1,0])
#axes[1,0].set_xticklabels(q1data_top20_f2['city'],rotation=315)
image.png

5.不同高校知友关注和被关注情况

'''
要求:
① 按照学校(教育经历字段) 统计粉丝数(‘关注者’)、关注人数(‘关注’),并筛选出粉丝数TOP20的学校,不要求创建函数
② 通过散点图 → 横坐标为关注人数,纵坐标为粉丝数,做图表可视化
③ 散点图中,标记出平均关注人数(x参考线),平均粉丝数(y参考线)
'''

df1_c1.groupby('教育经历')
q2data = df1_c1.groupby('教育经历').sum()[['关注','关注者']].drop(['缺失数据','大学','本科'])
q2data_c = q2data.sort_values('关注',ascending=False)[:20]
#print(q2data_c)

plt.figure(figsize=(10,6))
x = q2data_c['关注']
y = q2data_c['关注者']
follow_mean = q2data_c['关注'].mean()
fans_mean = q2data_c['关注者'].mean()
plt.scatter(x,y,marker='.',
           s = y/1000,
           cmap = 'Blues',
           c = y,
           alpha = 0.8,
           label = '学校')


plt.axvline(follow_mean,label="平均关注人数:%i人" % follow_mean,color='r',linestyle="--",alpha=0.8)  # 添加x轴参考线
plt.axhline(fans_mean,label="平均粉丝数:%i人" % fans_mean,color='g',linestyle="--",alpha=0.8)   # 添加y轴参考线
plt.legend(loc = 'upper left')
plt.grid()
# 添加显示内容

for i,j,n in zip(x,y,q2data_c.index):
    plt.text(i+500,j,n, color = 'k')
# 添加注释
image.png
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,588评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,456评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,146评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,387评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,481评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,510评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,522评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,296评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,745评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,039评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,202评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,901评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,538评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,165评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,415评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,081评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,085评论 2 352

推荐阅读更多精彩内容