大家好，我是辣条。

Pandas 是Python的核心数据分析支持库，提供了快速、灵活、明确的数据结构，旨在简单、直观地处理关系型、标记型数据。Pandas常用于处理带行列标签的矩阵数据、与 SQL 或 Excel 表类似的表格数据，应用于金融、统计、社会科学、工程等领域里的数据整理与清洗、数据分析与建模、数据可视化与制表等工作。

练习题索引

练习1-开始了解你的数据

探索Chipotle快餐数据

image description

image.gif

步骤1 导入必要的库

In [7]:

# 运行以下代码
import pandas as pd

image.gif

步骤2 从如下地址导入数据集

In [5]:

<pre># 运行以下代码</pre>

<pre>path1 = "./exercise_data/chipotle.tsv" # chipotle.tsv</pre>

步骤3 将数据集存入一个名为chipo的数据框内

In [8]:

<pre># 运行以下代码</pre>

<pre>chipo = pd.read_csv(path1, sep = '\t')</pre>

步骤4 查看前10行内容

In [9]:

<pre># 运行以下代码</pre>

<pre>chipo.head(10)</pre>

Out[9]:

步骤6 数据集中有多少个列(columns)

In [236]：

<pre># 运行以下代码</pre>

<pre>chipo.shape[1]</pre>

Out[236]:

<pre>5</pre>

步骤7 打印出全部的列名称

In [237]:

<pre># 运行以下代码</pre>

<pre>chipo.columns</pre>

Out[237]:

<pre>Index(['order_id', 'quantity', 'item_name', 'choice_description',</pre>

<pre> 'item_price'],</pre>

<pre> dtype='object')</pre>

步骤8 数据集的索引是怎样的

In [238]:

<pre># 运行以下代码</pre>

<pre>chipo.index</pre>

Out[238]:

<pre>RangeIndex(start=0, stop=4622, step=1)</pre>

步骤9 被下单数最多商品(item)是什么?

In [239]:

<pre># 运行以下代码，做了修正</pre>

<pre>c = chipo[['item_name','quantity']].groupby(['item_name'],as_index=False).agg({'quantity':sum})</pre>

<pre>c.sort_values(['quantity'],ascending=False,inplace=True)</pre>

<pre>c.head()</pre>

Out[239]:

步骤10 在item_name这一列中，一共有多少种商品被下单？

In [240]:

<pre># 运行以下代码</pre>

<pre>chipo['item_name'].nunique()</pre>

Out[240]:

<pre>50</pre>

步骤11 在choice_description中，下单次数最多的商品是什么？

In [241]:

<pre># 运行以下代码，存在一些小问题</pre>

<pre>chipo['choice_description'].value_counts().head()</pre>

Out[241]:

<pre>[Diet Coke] 134</pre>

<pre>[Coke] 123</pre>

<pre>[Sprite] 77</pre>

<pre>[Fresh Tomato Salsa, [Rice, Black Beans, Cheese, Sour Cream, Lettuce]] 42</pre>

<pre>[Fresh Tomato Salsa, [Rice, Black Beans, Cheese, Sour Cream, Guacamole, Lettuce]] 40</pre>

<pre>Name: choice_description, dtype: int64</pre>

步骤12 一共有多少商品被下单？

In [242]:

<pre># 运行以下代码</pre>

<pre>total_items_orders = chipo['quantity'].sum()</pre>

<pre>total_items_orders</pre>

Out[242]:

<pre>4972</pre>

步骤13 将item_price转换为浮点数

In [243]:

<pre># 运行以下代码
dollarizer = lambda x: float(x[1:-1])
chipo['item_price'] = chipo['item_price'].apply(dollarizer)</pre>

步骤14 在该数据集对应的时期内，收入(revenue)是多少

In [244]:

<pre># 运行以下代码,已经做更正
chipo['sub_total'] = round(chipo['item_price'] * chipo['quantity'],2)
chipo['sub_total'].sum()</pre>

Out[244]:

<pre>39237.02</pre>

步骤15 在该数据集对应的时期内，一共有多少订单？

In [245]:

<pre># 运行以下代码
chipo['order_id'].nunique()</pre>

Out[245]:

<pre>1834</pre>

步骤16 每一单(order)对应的平均总价是多少？

In [246]:

<pre># 运行以下代码，已经做过更正
chipo[['order_id','sub_total']].groupby(by=['order_id']
).agg({'sub_total':'sum'})['sub_total'].mean()</pre>

Out[246]:

<pre>21.39423118865867</pre>

步骤17 一共有多少种不同的商品被售出？

In [247]:

<pre># 运行以下代码
chipo['item_name'].nunique()</pre>

Out[247]:

练习2-数据过滤与排序

探索2012欧洲杯数据

image description

image.gif

步骤1 - 导入必要的库

In [248]:

<pre># 运行以下代码
import pandas as pd</pre>

步骤2 - 从以下地址导入数据集

In [249]:

<pre># 运行以下代码
path2 = "./exercise_data/Euro2012_stats.csv" # Euro2012_stats.csv</pre>

步骤3 - 将数据集命名为euro12

In [250]:

<pre># 运行以下代码
euro12 = pd.read_csv(path2)
euro12</pre>

Out[250]:

16 rows × 35 columns

步骤4 只选取 Goals 这一列

In [251]:

<pre># 运行以下代码
euro12.Goals</pre>

Out[251]:

<pre>0 4
1 4
2 4
3 5
4 3
5 10
6 5
7 6
8 2
9 2
10 6
11 1
12 5
13 12
14 5
15 2
Name: Goals, dtype: int64</pre>

步骤5 有多少球队参与了2012欧洲杯？

In [252]:

<pre># 运行以下代码
euro12.shape[0]</pre>

Out[252]:

<pre>16</pre>

步骤6 该数据集中一共有多少列(columns)?

In [253]:

<pre># 运行以下代码
euro12.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 16 entries, 0 to 15
Data columns (total 35 columns):
Team 16 non-null object
Goals 16 non-null int64
Shots on target 16 non-null int64
Shots off target 16 non-null int64
Shooting Accuracy 16 non-null object
% Goals-to-shots 16 non-null object
Total shots (inc. Blocked) 16 non-null int64
Hit Woodwork 16 non-null int64
Penalty goals 16 non-null int64
Penalties not scored 16 non-null int64
Headed goals 16 non-null int64
Passes 16 non-null int64
Passes completed 16 non-null int64
Passing Accuracy 16 non-null object
Touches 16 non-null int64
Crosses 16 non-null int64
Dribbles 16 non-null int64
Corners Taken 16 non-null int64
Tackles 16 non-null int64
Clearances 16 non-null int64
Interceptions 16 non-null int64
Clearances off line 15 non-null float64
Clean Sheets 16 non-null int64
Blocks 16 non-null int64
Goals conceded 16 non-null int64
Saves made 16 non-null int64
Saves-to-shots ratio 16 non-null object
Fouls Won 16 non-null int64
Fouls Conceded 16 non-null int64
Offsides 16 non-null int64
Yellow Cards 16 non-null int64
Red Cards 16 non-null int64
Subs on 16 non-null int64
Subs off 16 non-null int64
Players Used 16 non-null int64
dtypes: float64(1), int64(29), object(5)
memory usage: 4.5+ KB</pre>

步骤7 将数据集中的列Team, Yellow Cards和Red Cards单独存为一个名叫discipline的数据框

In [254]:

<pre># 运行以下代码
discipline = euro12[['Team', 'Yellow Cards', 'Red Cards']]
discipline</pre>

Out[254]:

步骤8 对数据框discipline按照先Red Cards再Yellow Cards进行排序

In [255]:

<pre># 运行以下代码
discipline.sort_values(['Red Cards', 'Yellow Cards'], ascending = False)</pre>

Out[255]:

步骤9 计算每个球队拿到的黄牌数的平均值

In [256]:

<pre># 运行以下代码
round(discipline['Yellow Cards'].mean())</pre>

Out[256]:

<pre>7.0</pre>

步骤10 找到进球数Goals超过6的球队数据

In [257]:

<pre># 运行以下代码
euro12[euro12.Goals > 6]</pre>

Out[257]:

2 rows × 35 columns

步骤11 选取以字母G开头的球队数据

In [258]:

<pre># 运行以下代码
euro12[euro12.Team.str.startswith('G')]</pre>

Out[258]:

2 rows × 35 columns

步骤12 选取前7列

In [259]:

<pre># 运行以下代码
euro12.iloc[: , 0:7]</pre>

Out[259]:

步骤13 选取除了最后3列之外的全部列

In [260]:

<pre># 运行以下代码
euro12.iloc[: , :-3]</pre>

Out[260]:

16 rows × 32 columns

步骤14 找到英格兰(England)、意大利(Italy)和俄罗斯(Russia)的射正率(Shooting Accuracy)

In [261]:

<pre># 运行以下代码
euro12.loc[euro12.Team.isin(['England', 'Italy', 'Russia']), ['Team','Shooting Accuracy']]</pre>

Out[261]:

练习3-数据分组

探索酒类消费数据

image description

image.gif

步骤1 导入必要的库

In [262]:

<pre># 运行以下代码
import pandas as pd</pre>

步骤2 从以下地址导入数据

In [10]:

<pre># 运行以下代码
path3 ='./exercise_data/drinks.csv' #'drinks.csv'</pre>

步骤3 将数据框命名为drinks

In [11]:

<pre># 运行以下代码
drinks = pd.read_csv(path3)
drinks.head()</pre>

Out[11]:

步骤4 哪个大陆(continent)平均消耗的啤酒(beer)更多？

In [12]:

<pre># 运行以下代码
drinks.groupby('continent').beer_servings.mean()</pre>

Out[12]:

<pre>continent
AF 61.471698
AS 37.045455
EU 193.777778
OC 89.687500
SA 175.083333
Name: beer_servings, dtype: float64</pre>

步骤5 打印出每个大陆(continent)的红酒消耗(wine_servings)的描述性统计值

In [13]:

<pre># 运行以下代码
drinks.groupby('continent').wine_servings.describe()</pre>

Out[13]:

步骤6 打印出每个大陆每种酒类别的消耗平均值

In [15]:

<pre># 运行以下代码
drinks.groupby('continent').mean()</pre>

Out[15]:

步骤7 打印出每个大陆每种酒类别的消耗中位数

In [268]:

<pre># 运行以下代码
drinks.groupby('continent').median()</pre>

Out[268]:

步骤8 打印出每个大陆对spirit饮品消耗的平均值，最大值和最小值

In [269]:

<pre># 运行以下代码
drinks.groupby('continent').spirit_servings.agg(['mean', 'min', 'max'])</pre>

Out[269]:

练习4-Apply函数

探索1960 - 2014 美国犯罪数据

image description

image.gif

步骤1 导入必要的库

In [16]:

<pre># 运行以下代码
import numpy as np
import pandas as pd</pre>

步骤2 从以下地址导入数据集

In [27]:

<pre># 运行以下代码
path4 = './exercise_data/US_Crime_Rates_1960_2014.csv' # "US_Crime_Rates_1960_2014.csv"</pre>

步骤3 将数据框命名为crime

In [28]:

<pre># 运行以下代码
crime = pd.read_csv(path4)
crime.head()</pre>

Out[28]:

步骤4 每一列(column)的数据类型是什么样的？

In [29]:

<pre># 运行以下代码
crime.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 55 entries, 0 to 54
Data columns (total 12 columns):
Year 55 non-null int64
Population 55 non-null int64
Total 55 non-null int64
Violent 55 non-null int64
Property 55 non-null int64
Murder 55 non-null int64
Forcible_Rape 55 non-null int64
Robbery 55 non-null int64
Aggravated_assault 55 non-null int64
Burglary 55 non-null int64
Larceny_Theft 55 non-null int64
Vehicle_Theft 55 non-null int64
dtypes: int64(12)
memory usage: 5.2 KB</pre>

注意到了吗，Year的数据类型为 int64，但是pandas有一个不同的数据类型去处理时间序列(time series)，我们现在来看看。

步骤5 将Year的数据类型转换为 datetime64

In [30]:

<pre># 运行以下代码
crime.Year = pd.to_datetime(crime.Year, format='%Y')
crime.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 55 entries, 0 to 54
Data columns (total 12 columns):
Year 55 non-null datetime64[ns]
Population 55 non-null int64
Total 55 non-null int64
Violent 55 non-null int64
Property 55 non-null int64
Murder 55 non-null int64
Forcible_Rape 55 non-null int64
Robbery 55 non-null int64
Aggravated_assault 55 non-null int64
Burglary 55 non-null int64
Larceny_Theft 55 non-null int64
Vehicle_Theft 55 non-null int64
dtypes: datetime64ns, int64(11)
memory usage: 5.2 KB</pre>

步骤6 将列Year设置为数据框的索引

In [31]:

<pre># 运行以下代码
crime = crime.set_index('Year', drop = True)
crime.head()</pre>

Out[31]:

步骤7 删除名为Total的列

In [32]:

<pre># 运行以下代码
del crime['Total']
crime.head()</pre>

Out[32]:

In [33]:

<pre>crime.resample('10AS').sum()</pre>

Out[33]:

步骤8 按照Year对数据框进行分组并求和

注意Population这一列，若直接对其求和，是不正确的*

In [34]:

<pre># 更多关于 .resample 的介绍

(https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.resample.html)

更多关于 Offset Aliases的介绍

(http://pandas.pydata.org/pandas-docs/stable/timeseries.html#offset-aliases)

运行以下代码

crimes = crime.resample('10AS').sum() # resample a time series per decades

用resample去得到“Population”列的最大值

population = crime['Population'].resample('10AS').max()

更新 "Population"

crimes['Population'] = population

crimes</pre>

Out[34]:

步骤9 何时是美国历史上生存最危险的年代？

In [279]:

<pre># 运行以下代码
crime.idxmax(0)</pre>

Out[279]:

<pre>Population 2014-01-01
Violent 1992-01-01
Property 1991-01-01
Murder 1991-01-01
Forcible_Rape 1992-01-01
Robbery 1991-01-01
Aggravated_assault 1993-01-01
Burglary 1980-01-01
Larceny_Theft 1991-01-01
Vehicle_Theft 1991-01-01
dtype: datetime64[ns]</pre>

练习5-合并

探索虚拟姓名数据

步骤1 导入必要的库

In [280]:

<pre># 运行以下代码
import numpy as np
import pandas as pd</pre>

步骤2 按照如下的元数据内容创建数据框

In [281]:

<pre># 运行以下代码
raw_data_1 = {
'subject_id': ['1', '2', '3', '4', '5'],
'first_name': ['Alex', 'Amy', 'Allen', 'Alice', 'Ayoung'],
'last_name': ['Anderson', 'Ackerman', 'Ali', 'Aoni', 'Atiches']}

raw_data_2 = {
'subject_id': ['4', '5', '6', '7', '8'],
'first_name': ['Billy', 'Brian', 'Bran', 'Bryce', 'Betty'],
'last_name': ['Bonder', 'Black', 'Balwner', 'Brice', 'Btisan']}

raw_data_3 = {
'subject_id': ['1', '2', '3', '4', '5', '7', '8', '9', '10', '11'],
'test_id': [51, 15, 15, 61, 16, 14, 15, 1, 61, 16]}</pre>

步骤3 将上述的数据框分别命名为data1, data2, data3

In [282]:

<pre># 运行以下代码
data1 = pd.DataFrame(raw_data_1, columns = ['subject_id', 'first_name', 'last_name'])
data2 = pd.DataFrame(raw_data_2, columns = ['subject_id', 'first_name', 'last_name'])
data3 = pd.DataFrame(raw_data_3, columns = ['subject_id','test_id'])</pre>

步骤4 将data1和data2两个数据框按照行的维度进行合并，命名为all_data

In [283]:

<pre># 运行以下代码
all_data = pd.concat([data1, data2])
all_data</pre>

Out[283]:

步骤5 将data1和data2两个数据框按照列的维度进行合并，命名为all_data_col

In [284]:

<pre># 运行以下代码
all_data_col = pd.concat([data1, data2], axis = 1)
all_data_col</pre>

Out[284]:

步骤6 打印data3

In [285]:

<pre># 运行以下代码
data3</pre>

Out[285]:

步骤7 按照subject_id的值对all_data和data3作合并

In [286]:

<pre># 运行以下代码
pd.merge(all_data, data3, on='subject_id')</pre>

Out[286]:

步骤8 对data1和data2按照subject_id作连接

In [287]:

<pre># 运行以下代码
pd.merge(data1, data2, on='subject_id', how='inner')</pre>

Out[287]:

步骤9 找到 data1 和 data2 合并之后的所有匹配结果

In [288]:

<pre># 运行以下代码
pd.merge(data1, data2, on='subject_id', how='outer')</pre>

Out[288]:

练习6-统计

探索风速数据

image description

image.gif

步骤1 导入必要的库

In [289]:

<pre># 运行以下代码
import pandas as pd
import datetime</pre>

步骤2 从以下地址导入数据

In [290]:

<pre>import pandas as pd</pre>

In [35]:

<pre># 运行以下代码
path6 = "./exercise_data/wind.data" # wind.data</pre>

步骤3 将数据作存储并且设置前三列为合适的索引

In [292]:

<pre>import datetime</pre>

In [293]:

<pre># 运行以下代码
data = pd.read_table(path6, sep = "\s+", parse_dates = [[0,1,2]])
data.head()</pre>

Out[293]:

步骤4 2061年？我们真的有这一年的数据？创建一个函数并用它去修复这个bug

In [294]:

<pre># 运行以下代码
def fix_century(x):
year = x.year - 100 if x.year > 1989 else x.year
return datetime.date(year, x.month, x.day)

apply the function fix_century on the column and replace the values to the right ones

data['Yr_Mo_Dy'] = data['Yr_Mo_Dy'].apply(fix_century)

data.info()

data.head()</pre>

Out[294]:

步骤5 将日期设为索引，注意数据类型，应该是datetime64[ns]

In [295]:

<pre># 运行以下代码

transform Yr_Mo_Dy it to date type datetime64

data["Yr_Mo_Dy"] = pd.to_datetime(data["Yr_Mo_Dy"])

set 'Yr_Mo_Dy' as the index

data = data.set_index('Yr_Mo_Dy')

data.head()

data.info()</pre>

Out[295]:

步骤6 对应每一个location，一共有多少数据值缺失

In [296]:

<pre># 运行以下代码
data.isnull().sum()</pre>

Out[296]:

<pre>RPT 6
VAL 3
ROS 2
KIL 5
SHA 2
BIR 0
DUB 3
CLA 2
MUL 3
CLO 1
BEL 0
MAL 4
dtype: int64</pre>

步骤7 对应每一个location，一共有多少完整的数据值

In [297]:

<pre># 运行以下代码
data.shape[0] - data.isnull().sum()</pre>

Out[297]:

<pre>RPT 6568
VAL 6571
ROS 6572
KIL 6569
SHA 6572
BIR 6574
DUB 6571
CLA 6572
MUL 6571
CLO 6573
BEL 6574
MAL 6570
dtype: int64</pre>

步骤8 对于全体数据，计算风速的平均值

In [298]:

<pre># 运行以下代码
data.mean().mean()</pre>

Out[298]:

<pre>10.227982360836924</pre>

步骤9 创建一个名为loc_stats的数据框去计算并存储每个location的风速最小值，最大值，平均值和标准差

In [299]:

<pre># 运行以下代码
loc_stats = pd.DataFrame()

loc_stats['min'] = data.min() # min
loc_stats['max'] = data.max() # max
loc_stats['mean'] = data.mean() # mean
loc_stats['std'] = data.std() # standard deviations

loc_stats</pre>

Out[299]:

步骤10 创建一个名为day_stats的数据框去计算并存储所有location的风速最小值，最大值，平均值和标准差

In [300]:

<pre># 运行以下代码

create the dataframe

day_stats = pd.DataFrame()

this time we determine axis equals to one so it gets each row.

day_stats['min'] = data.min(axis = 1) # min
day_stats['max'] = data.max(axis = 1) # max
day_stats['mean'] = data.mean(axis = 1) # mean
day_stats['std'] = data.std(axis = 1) # standard deviations

day_stats.head()</pre>

Out[300]:

步骤11 对于每一个location，计算一月份的平均风速

注意，1961年的1月和1962年的1月应该区别对待

In [301]:

<pre># 运行以下代码

creates a new column 'date' and gets the values from the index

data['date'] = data.index

creates a column for each value from date

data['month'] = data['date'].apply(lambda date: date.month)
data['year'] = data['date'].apply(lambda date: date.year)
data['day'] = data['date'].apply(lambda date: date.day)

gets all value from the month 1 and assign to janyary_winds

january_winds = data.query('month == 1')

gets the mean from january_winds, using .loc to not print the mean of month, year and day

january_winds.loc[:,'RPT':"MAL"].mean()</pre>

Out[301]:

<pre>RPT 14.847325
VAL 12.914560
ROS 13.299624
KIL 7.199498
SHA 11.667734
BIR 8.054839
DUB 11.819355
CLA 9.512047
MUL 9.543208
CLO 10.053566
BEL 14.550520
MAL 18.028763
dtype: float64</pre>

步骤12 对于数据记录按照年为频率取样

In [302]:

<pre># 运行以下代码
data.query('month == 1 and day == 1')</pre>

Out[302]:

步骤13 对于数据记录按照月为频率取样

In [303]:

<pre># 运行以下代码
data.query('day == 1')</pre>

Out[303]:

216 rows × 16 columns

练习7-可视化

探索泰坦尼克灾难数据

步骤1 导入必要的库

In [304]:

<pre># 运行以下代码
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import numpy as np

%matplotlib inline</pre>

步骤2 从以下地址导入数据

In [36]:

<pre># 运行以下代码
path7 = '../input/pandas_exercise/pandas_exercise/exercise_data/train.csv' # train.csv</pre>

步骤3 将数据框命名为titanic

In [306]:

<pre># 运行以下代码
titanic = pd.read_csv(path7)
titanic.head()</pre>

Out[306]:

步骤4 将PassengerId设置为索引

In [307]:

<pre># 运行以下代码
titanic.set_index('PassengerId').head()</pre>

Out[307]:

步骤5 绘制一个展示男女乘客比例的扇形图

In [308]:

<pre># 运行以下代码

sum the instances of males and females

males = (titanic['Sex'] == 'male').sum()
females = (titanic['Sex'] == 'female').sum()

put them into a list called proportions

proportions = [males, females]

Create a pie chart

plt.pie(
# using proportions
proportions,

# with the labels being officer names
labels = ['Males', 'Females'],

# with no shadows
shadow = False,

# with colors
colors = ['blue','red'],

# with one slide exploded out
explode = (0.15 , 0),

# with the start angle at 90%
startangle = 90,

# with the percent listed as a fraction
autopct = '%1.1f%%'
)

View the plot drop above

plt.axis('equal')

Set labels

plt.title("Sex Proportion")

View the plot

plt.tight_layout()
plt.show()</pre>

image

image.gif

步骤6 绘制一个展示船票Fare, 与乘客年龄和性别的散点图

In [309]:

<pre># 运行以下代码

creates the plot using

lm = sns.lmplot(x = 'Age', y = 'Fare', data = titanic, hue = 'Sex', fit_reg=False)

set title

lm.set(title = 'Fare x Age')

get the axes object and tweak it

axes = lm.axes
axes[0,0].set_ylim(-5,)
axes[0,0].set_xlim(-5,85)</pre>

Out[309]:

<pre>(-5, 85)</pre>

image

image.gif

步骤7 有多少人生还？

In [310]:

<pre># 运行以下代码
titanic.Survived.sum()</pre>

Out[310]:

<pre>342</pre>

步骤8 绘制一个展示船票价格的直方图

In [311]:

<pre># 运行以下代码

sort the values from the top to the least value and slice the first 5 items

df = titanic.Fare.sort_values(ascending = False)
df

create bins interval using numpy

binsVal = np.arange(0,600,10)
binsVal

create the plot

plt.hist(df, bins = binsVal)

Set the title and labels

plt.xlabel('Fare')
plt.ylabel('Frequency')
plt.title('Fare Payed Histrogram')

show the plot

plt.show()</pre>

行业资料：添加即可领取PPT模板、简历模板、行业经典书籍PDF。
面试题库：历年经典，热乎的大厂面试真题，持续更新中，添加获取。
学习资料：含Python、爬虫、数据分析、算法等学习视频和文档，添加获取
交流加群：大佬指点迷津，你的问题往往有人遇到过，技术互助交流。