Pandas数据分析第一章预备知识

第一章 预备知识

一 Python基础

匿名函数与map方法

1.匿名函数:

my_func = lambda x: 2*x
#调用:
my_func(3)

2.map函数

#映射关系:
[(lambda x: 2*x)(i) for i in range(5)]
#map函数:返回map对象,
#输入:function(n个参数),n个iteration对象
map(lambda x: 2*x, range(5))
#通过list转为列表:
list(map(lambda x: 2*x, range(5)))
#对于多个输入值的函数映射,可以通过追加迭代对象实现:
list(map(lambda x, y: str(x)+'_'+y, range(5), list('abcde')))

Python的iterator是一个惰性序列,意思是表达式和变量绑定后不会立即进行求值,而是当你用到其中某些元素的时候才去求某元素对的值。 惰性是指,你不主动去遍历它,就不会计算其中元素的值。

zip对象与enumerate方法

zip函数能够把多个可迭代对象打包成一个元组构成的可迭代对象,它返回了一个 zip 对象,通过 tuple, list 可以得到相应的打包结果:

L1, L2, L3 = list('abc'), list('def'), list('hij')
list(zip(L1, L2, L3)) #output: [('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j')]
tuple(zip(L1, L2, L3)) #output:(('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j'))
#zip应用场景1:循环迭代多个list
for i, j, k in zip(L1, L2, L3):
    print(i, j, k)
'''
output:
a d h
b e i
c f j
'''
#zip应用场景2:对两个列表建立字典映射
dict(zip(L1,L2)) #{'a': 'd', 'b': 'e', 'c': 'f'}

解压缩 *:

zipped = list(zip(L1, L2, L3)) #[('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j')]
list(zip(*zipped)) # 三个元组分别对应原来的列表 [('a', 'b', 'c'), ('d', 'e', 'f'), ('h', 'i', 'j')]

enumerate 是一种特殊的打包,它可以在迭代时绑定迭代元素的遍历序号:

for index, value in enumerate(L):
    print(index, value)

二 Numpy基础

np数组的构造

array方法:

np.array([1,2,3])

一些特殊数组的生成方式

等差序列:np.linspace, np.arange

  • np.linspace(1,5,11) # 起始、终止(包含)、样本个数 array([1. , 1.4, 1.8, 2.2, 2.6, 3. , 3.4, 3.8, 4.2, 4.6, 5. ])
    
  • np.arange(1,5,2) #起始、终止(不包含)、步长array([1, 3])
    

特殊矩阵 zeros, ones, eye, full

np.zeros((2,3)) # 传入元组表示各维度大小(ones用法相同)
'''
array([[0., 0., 0.],
       [0., 0., 0.]])
'''
np.eye(3) # 3*3的单位矩阵
'''
array([[1., 0., 0.],
       [0., 1., 0.],
       [0., 0., 1.]])
'''
np.eye(3, k=1) # 偏移主对角线1个单位的伪单位矩阵
'''
array([[0., 1., 0.],
       [0., 0., 1.],
       [0., 0., 0.]])
'''
np.full((2,3),10) #元组传入行列数,10为填充值
'''
[[10 10 10]
 [10 10 10]]
'''
np.full((2,3), [1,2,3]) # 通过传入列表填充每列的值
'''
[[1, 2, 3],
[1, 2, 3]]
'''

随机矩阵np.random

最常用的随机生成函数为 rand, randn, randint, choice ,它们分别表示0-1均匀分布的随机数组、标准正态的随机数组、随机整数组和随机列表抽样:

#1. rand(a): 生成服从0-1均匀分布的a个随机数
np.random.rand(3) 
'''
[0.33475955, 0.95078732, 0.05285509]
'''
#rand(a,b) a行b列
np.random.rand(3, 3) # 注意这里传入的不是元组,每个维度大小分开输入
#服从区间 a 到 b 上的均匀分布可以如下生成
a, b = 5, 15
(b - a) * np.random.rand(3) + a

#2. randn(a)或randn(a,b): 生成N(0,1)的标准正态分布
np.random.randn(3)
np.random.randn(2, 2)
#对于服从方差为 σ2 均值为 μ 的一元正态分布可以如下生成:
sigma, mu = 2.5, 3
mu + np.random.randn(3) * sigma

#3. randint 可以指定生成随机整数的最小值最大值(不包含)和维度大小:
low, high, size = 5, 15, (2,2) # 生成5到14的随机整数
np.random.randint(low, high, size)
'''
[[ 7,  9],
[13,  7]]
'''

#4. choice 可以从给定的列表中,以一定概率和方式抽取结果,当不指定概率时为均匀采样,默认抽取方式为有放回抽样:
my_list = ['a', 'b', 'c', 'd']
np.random.choice(my_list, 2, replace=False, p=[0.1, 0.7, 0.1 ,0.1])
['b', 'd']
np.random.choice(my_list, (3,3))    
'''
[['a', 'c', 'd'],
['d', 'b', 'c'],
['d', 'c', 'a']]
'''
#当返回的元素个数与原列表相同时,等价于使用 permutation 函数,即打散原列表:
np.random.permutation(my_list)
#['d', 'c', 'a', 'b']

#5. 随机种子,它能够固定随机数的输出结果:(random.seed(0)作用:使得随机数据可预测,即只要seed的值一样,后续生成的随机数都一样。)
np.random.seed(0)
np.random.rand() #0.5488135039273248
np.random.rand() #0.7151893663724195
np.random.seed(0)
np.random.rand() #0.5488135039273248 和之前的结果一样

np数组的变形与合并

转置: T

np.zeros((2,3)).T
'''
[[0., 0.],
[0., 0.],
[0., 0.]]
'''

合并操作: r_, c_

对于二维数组而言, r_c_ 分别表示上下合并和左右合并:

np.r_[np.zeros((2,3)),np.zeros((2,3))]
'''
       [[0., 0., 0.],
       [0., 0., 0.],
       [0., 0., 0.],
       [0., 0., 0.]]
'''
np.c_[np.zeros((2,3)),np.zeros((2,3))]
'''
       [[0., 0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0., 0.]]
'''

一维数组和二维数组进行合并时,应当把其视作列向量,在长度匹配的情况下只能够使用左右合并的 c_ 操作:

np.c_[np.array([0,0]),np.zeros((2,3))]
'''
       [[0., 0., 0., 0.],
       [0., 0., 0., 0.]]
'''

维度变换: reshape

reshape 能够帮助用户把原数组按照新的维度重新排列。在使用时有两种模式,分别为 C 模式和 F 模式,分别以逐行和逐列的顺序进行填充读取。

target = np.arange(8).reshape(2,4)
'''
[[0 1 2 3]
 [4 5 6 7]]
'''
#按行读取和填充:注意target其实是没变的
target2 = target.reshape((4,2), order='C') 
'''
[[0 1]
 [2 3]
 [4 5]
 [6 7]]
'''
# 按照列读取和填充
target2 = target.reshape((4,2), order='F')
'''
[[0 2]
 [4 6]
 [1 3]
 [5 7]]
'''
#特别地,由于被调用数组的大小是确定的, reshape 允许有一个维度存在空缺,此时只需填充-1即可:
target2 = target.reshape((4,-1))
'''
[[0 1]
 [2 3]
 [4 5]
 [6 7]]
'''
#将 n*1 大小的数组转为1维数组:
target = np.ones((3,1))
target.reshape(-1)
'''
[1., 1., 1.]
'''

np数组的切片与索引

slice

数组的切片模式支持使用 slice 类型的 start:end:step 切片,还可以直接传入列表指定某个维度的索引进行切片:

target = np.arange(9).reshape(3,3)
'''
[[0, 1, 2],
[3, 4, 5],
[6, 7, 8]]
'''
#切片:0,2是列索引值
target[:-1, [0,2]] 
'''
[[0 2]
 [3 5]]
'''

np.ix_

可以利用 np.ix_ 在对应的维度上使用布尔索引,但此时不能使用 slice 切片:

target = np.arange(33).reshape(3,-1)
target2 = target[np.ix_([1,2], [True, False, True, False, True])]
'''
[[11 13 15]
 [22 24 26]]
'''
#np.ix_([a,b], [c,d]) a,b,c,d做笛卡尔集:
target2 = target[np.ix_([1,2], [0,2,4])] #效果同上

当数组维度为1维时,可以直接进行布尔索引,而无需 np.ix_

new = target.reshape(-1)
target2 = new[new%2==0]
'''
[0, 2, 4, 6, 8]
'''

常用函数

假设下述函数输入的数组都是一维的

where

where 是一种条件函数,可以指定满足条件与不满足条件位置对应的填充值:

a = np.array([-1,1,-1,0])
np.where(a>0, a, 5) # 对应位置为True时填充a对应元素,否则填充5
'''
[5 1 5 5]
'''

nonzero, argmax, argmin

这三个函数返回的都是索引, nonzero 返回非零数的索引, argmax, argmin 分别返回最大和最小数的索引:

a = np.array([-2,-5,0,1,3,-1])
np.nonzero(a) #[0, 1, 3, 4, 5]
a.argmax() #4
a.argmin() #1

any, all

any: 指当序列至少 存在一个 True 或非零元素时返回 True ,否则返回 False
all: 指当序列元素 全为 True 或非零元素时返回 True ,否则返回 False

a = np.array([0,1])
a.any()  #True
a.all() #False

cumprod, cumsum, diff

cumprod, cumsum 分别表示累乘和累加函数,返回同长度的数组,diff 表示和前一个元素做差,由于第一个
元素为缺失值,因此在默认参数情况下,返回长度是原数组减 1

a = np.array([1,2,3])
a.cumprod() #[1,2,6]
a.cumsum() #[1,3,6]
np.diff(a) #[1,1]

统计函数

常用的统计函数包括 max, min, mean, median, std, var, sum, quantile ,其中分位数计算是全局方法,因此不能通过 array.quantile 的方法调用:

target = np.arange(5)
'''
[0, 1, 2, 3, 4]
''' 
target.max() #4
np.quantile(target, 0.5) # 0.5分位数 2

对于含有缺失值的数组,它们返回的结果也是缺失值;如果需要略过缺失值,必须使用 nan* 类型的函数

target = np.array([1, 2, np.nan])
target.max() #nan
np.nanmax(target) #2.0
np.nanquantile(target, 0.5) #1.5

对于协方差和相关系数分别可以利用 cov, corrcoef 如下计算:

target1 = np.array([1,3,5,9])
target2 = np.array([1,5,3,-9])
np.cov(target1, target2)
'''
[[ 11.66666667, -16.66666667],
[-16.66666667, 38.66666667]]
'''
np.corrcoef(target1, target2)
'''
[[ 1. , -0.78470603],
[-0.78470603, 1. ]]
'''

二维 Numpy 数组中统计函数的 axis 参数,它能够进行某一个维度下的统计特征计算,当 axis=0 时结果为列的统计指标,当 axis=1 时结果为行的统计指标:

target = np.arange(1,10).reshape(3,-1)
'''
[[1 2 3]
 [4 5 6]
 [7 8 9]]
'''
target.sum(0) #[12 15 18]按列
target.sum(1) #[ 6 15 24]按行

广播机制

广播机制用于处理两个不同维度数组之间的操作,这里只讨论不超过两维的数组广播机制。

标量和数组的操作

当一个标量和数组进行运算时,标量会自动把大小扩充为数组大小,之后进行逐元素操作:

res = 3 * np.ones((2,2)) + 1
'''
[[4. 4.]
 [4. 4.]]
'''
res = 1 / res
'''
[[0.25 0.25]
 [0.25 0.25]]
'''

二维数组之间的操作

当两个数组维度完全一致时,使用对应元素的操作,否则会报错,除非其中的某个数组的维度是 m × 1 或者1 × n ,那么会扩充其具有 1 的维度为另一个数组对应维度的大小。例如,1 × 2 数组和 3 × 2 数组做逐元素运算时会把第一个数组扩充为 3 × 2 ,扩充时的对应数值进行赋值。但是,需要注意的是,如果第一个数组的维度是 1 × 3 ,那么由于在第二维上的大小不匹配且不为 1 ,此时报错。

res = np.ones((3,2))
'''
[[1., 1.],
[1., 1.],
[1., 1.]]
'''
res * np.array([[2,3]]) # 扩充第一维度为3
'''
np的矩阵乘法是对应位置的元素相乘,不是数学上的矩阵乘法
[[2., 3.],
[2., 3.],
[2., 3.]]
'''
res * np.array([[2],[3],[4]]) # 扩充第二维度为2
'''
[[2., 2.],
 [3., 3.],
 [4., 4.]]
'''
res * np.array([[2]]) # 等价于两次扩充
'''
[[2., 2.],
[2., 2.],
[2., 2.]]
'''

一维数组与二维数组的操作

当一维数组 AkAk 与二维数组 Bm,nBm,n 操作时,等价于把一维数组视作 A1,kA1,k 的二维数组,使用的广播法则与【b】中一致,当 k!=nk!=n 且 k,nk,n 都不是 11 时报错。

np.ones(3) + np.ones((2,3))
'''
[[2., 2., 2.],
[2., 2., 2.]]
'''
np.ones(3) + np.ones((2,1))
'''
[1, 1, 1], + [1]
[1, 1, 1] +  [1]
=
2,2,2
2,2,2
'''
np.ones(1) + np.ones((2,3))
'''
[[2., 2., 2.],
[2., 2., 2.]]
'''

向量与矩阵的计算

向量内积: dot

a⋅b=∑a_ib_i

a = np.array([1,2,3])
b = np.array([1,3,5])
a.dot(b) #22

向量范数和矩阵范数: np.linalg.norm

linalg=linear(线性)+algebra(代数),norm则表示范数。参数:

x_norm=np.linalg.norm(x, ord=None, axis=None, keepdims=False)

  • x: 表示矩阵(也可以是一维)

  • ord:范数类型

  • axis:处理类型

    ​ axis=1表示按行向量处理,求多个行向量的范数

    ​ axis=0表示按列向量处理,求多个列向量的范数

    ​ axis=None表示矩阵范数。

  • keepding:是否保持矩阵的二维特性

    ​ True表示保持矩阵的二维特性,False相反

在矩阵范数的计算中,最重要的是 ord 参数,可选值如下:

ord norm for matrices norm for vectors
None Frobenius norm 2-norm
‘fro’ Frobenius norm –矩阵A各项元素的绝对值平方的总和,
‘nuc’ nuclear norm
inf max(sum(abs(x), axis=1)) max(abs(x))
-inf min(sum(abs(x), axis=1)) min(abs(x))
0 sum(x != 0)
1 max(sum(abs(x), axis=0)) as below
-1 min(sum(abs(x), axis=0)) as below
2 2-norm (largest sing. value) as below
-2 smallest singular value as below
other sum(abs(x)ord)(1./ord)
martix_target =  np.arange(4).reshape(-1,2)
'''
[[0, 1],
[2, 3]]
'''
np.linalg.norm(martix_target, 'fro') #3.7416573867739413
np.linalg.norm(martix_target, np.inf)  #5.0
np.linalg.norm(martix_target, 2) #3.702459173643833

矩阵乘法 @

[A_{m×p}B_{p×n}]_{ij}=\displaystyle \sum^{p}_{k=1}A_{ik}B_{kj}

 a = np.arange(4).reshape(-1,2)
 '''
 [[0, 1],
 [2, 3]]
 '''
b = np.arange(-4,0).reshape(-1,2)
'''
[[-4,-3],
[-2,-1]]
'''
a@b
'''
[[ -2,  -1],
[-14,  -9]]
'''

三 练习

Ex1:利用列表推导式写矩阵乘法

def my_func(i,j):
    item = 0
    for k in range(M1.shape[1]):
        item += M1[i][k] * M2[k][j]
    return item
res = [[my_func(i,j) for j in range(M2.shape[1])] for i in range(M1.shape[0])]

答案:

res = [[sum([M1[i][k] * M2[k][j] for k in range(M1.shape[1])]) for j in range(M2.shape[1])] for i in range(M1.shape[0])]

Ex2:更新矩阵

设矩阵 A_{m\times n},现在对 A 中的每一个元素进行更新生成矩阵 B ,更新方法是 \displaystyle B_{ij}=A_{ij}\sum_{k=1}^n\frac{1}{A_{ik}},例如下面的矩阵为 A ,则 B_{2,2}=5\times(\frac{1}{4}+\frac{1}{5}+\frac{1}{6})=\frac{37}{12} ,请利用 Numpy 高效实现。

\begin{split}A=\left[ \begin{matrix} 1 & 2 &3\\4&5&6\\7&8&9 \end{matrix} \right]\end{split}

C = [[sum(1/A[i][j] for j in range(A.shape[1]))] for i in range(A.shape[0])]
B = A * C

答案:

B = A*(1/A).sum(1).reshape(-1,1) 

Ex3:卡方统计量

设矩阵 A_{m\times n} ,记 B_{ij} = \frac{(\sum_{i=1}^mA_{ij})\times (\sum_{j=1}^nA_{ij})}{\sum_{i=1}^m\sum_{j=1}^nA_{ij}},定义卡方值如下:
\chi^2 = \sum_{i=1}^m\sum_{j=1}^n\frac{(A_{ij}-B_{ij})^2}{B_{ij}}
请利用 Numpy 对给定的矩阵 A 计算 \chi^2

import numpy as np
np.random.seed(0)
A = np.random.randint(10, 20, (8, 5))
B = (A.sum(1).reshape(-1,1) @ A.sum(0).reshape(1,-1))/A.sum()
kafa = ((A-B) ** 2 / B).sum()

答案:

import numpy as np
np.random.seed(0)
A = np.random.randint(10, 20, (8, 5))
B = A.sum(0)*A.sum(1).reshape(-1, 1)/A.sum() #两个一维向量相乘会报错,但是加上reshape(-1,1)之后就会变成正常的矩阵乘法
kafa = ((A-B) ** 2 / B).sum()

Ex4:改进矩阵计算的性能

Zm\times n 的矩阵, BU 分别是 m×pp×n 的矩阵, B_iB 的第 i 行, U_jU 的第 j 列,下面定义 \displaystyle R=\sum_{i=1}^m\sum_{j=1}^n\|B_i-U_j\|_2^2Z_{ij},其中 \|\mathbf{a}\|_2^2表示向量 a 的分量平方和\sum_i a_i^2

现有某人根据如下给定的样例数据计算 R 的值,请充分利用 Numpy 中的函数,基于此问题改进这段代码的性能。

np.random.seed(0)
m, n, p = 100, 80, 50
B = np.random.randint(0, 2, (m, p))
U = np.random.randint(0, 2, (p, n))
Z = np.random.randint(0, 2, (m, n))
def solution(B=B, U=U, Z=Z):
    L_res = []
    for i in range(m):
        for j in range(n):
            norm_value = ((B[i]-U[:,j])**2).sum()
            L_res.append(norm_value*Z[i][j])
    return sum(L_res)

print(solution(B, U, Z))

答案:

构造Y矩阵:

\begin{split}Y_{ij} &= \|B_i-U_j\|_2^2\\ &=\sum_{k=1}^p(B_{ik}-U_{kj})^2\\ &=\sum_{k=1}^p B_{ik}^2+\sum_{k=1}^p U_{kj}^2-2\sum_{k=1}^p B_{ik}U_{kj}\\\end{split}

(((B**2).sum(1).reshape(-1,1) + (U**2).sum(0) - 2*B@U)*Z).sum()

Ex5:连续整数的最大长度

输入一个整数的 Numpy 数组,返回其中递增连续整数子数组的最大长度。例如,输入 [1,2,5,6,7],[5,6,7]为具有最大长度的递增连续整数子数组,因此输出3;输入[3,2,1,2,3,4,6],[1,2,3,4]为具有最大长度的递增连续整数子数组,因此输出4。请充分利用 Numpy 的内置函数完成。(提示:考虑使用 nonzero, diff 函数)

f=lambdax:np.diff(np.nonzero(np.r_[1,np.diff(x)!=1,1])).max()

参考:https://datawhalechina.github.io/joyful-pandas/build/html/%E7%9B%AE%E5%BD%95/ch1.html

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,772评论 6 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,458评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,610评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,640评论 1 276
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,657评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,590评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,962评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,631评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,870评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,611评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,704评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,386评论 4 319
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,969评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,944评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,179评论 1 260
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 44,742评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,440评论 2 342

推荐阅读更多精彩内容