数据分析库之numpy

Numpy是python科学计算库。其整合了C/C++.fortran的代码,性能良好,更是Scipy、Pandas等的基础。

掌握此类库不需要记忆,只需要知道大概有哪些方法,能干什么,,需要的时候,快速翻阅即可。

numpy基础

np.ndim :维度 

np.shape :各维度的尺度 (2,5) 

np.size :元素的个数 10 

np.dtype :元素的类型 dtype(‘int32’) 

np.itemsize :每个元素的大小,以字节为单位 ,每个元素占4个字节 

ndarray数组的创建 

np.array([2,3,4,5], dtype=np.float64)  一维
np.array([2,3,4,5],[2,3,4,5])  二维
np.arange(n) ; 元素从0到n-1的ndarray类型 

shape 表示形状的元组
np.ones(shape): 生成全1 

np.zeros((shape), ddtype = np.int32) : 生成int32型的全0 

np.full(shape, val): 生成全为val 

np.eye(n) : 生成单位矩阵

np.ones_like(a) : 按数组a的形状生成全1的数组 

np.zeros_like(a): 同理 

np.full_like (a, val) : 同理

np.linspace(1,10,4): 根据起止数据等间距地生成数组 

np.linspace(1,10,4, endpoint = False):endpoint 表示10是否作为生成的元素 

np.concatenate():

np.empty(shape) 创建没有任何具体值得数组

数组的维度变换

np.reshape(shape) : 不改变当前数组,依shape生成 

np.resize(shape) : 改变当前数组,依shape生成 

np.swapaxes(ax1, ax2) : 将两个维度调换 

np.flatten() : 对数组进行降维,返回折叠后的一位数组

np.transpose() 转置
np.T 特殊转置
np.dot(arr.,arr) 求点积

数组的类型变换

数据类型的转换 :a.astype(new_type) : eg, a.astype (np.float) 

数组向列表的转换: a.tolist() 

数组的索引和切片

一维数组切片

a = np.array ([9, 8, 7, 6, 5, ]) 
 a[1] = 23  赋值
 a[2:4] = 8  赋值
a[1:4:2] –> array([8, 6]) : a[起始编号:终止编号(不含): 步长]

多维数组索引

a = np.arange(24).reshape((2, 3, 4)) 

a[1, 2, 3] 表示 3个维度上的编号, 各个维度的编号用逗号分隔

布尔型索引
names = np.array([1,2,3,3,4,5,3])
data = np.randn(7,4)
data[names==3] 布尔型的长度必须跟索被索引的轴长度一致
data[names != 3] = 7

data 所有负值设置为0
data[data<0] = 0

多维数组切片

a [:,:,::2 ] 缺省时,表示从第0个元素开始,到最后一个元素 

数组的运算

arr = np.array([[1,2,3],[1,3,4]])
arr * arr
arr - arr
arr ** 0.5  广播运算

np.abs(a) np.fabs(a) : 取各元素的绝对值 

np.sqrt(a) : 计算各元素的平方根 

np.square(a): 计算各元素的平方 

np.log(a) np.log10(a) np.log2(a) : 计算各元素的自然对数、10、2为底的对数 

np.ceil(a) np.floor(a) : 计算各元素的ceiling 值, floor值(ceiling向上取整,floor向下取整) 

np.rint(a) : 各元素 四舍五入 

np.modf(a) : 将数组各元素的小数和整数部分以两个独立数组形式返回 

np.exp(a) : 计算各元素的指数值 

np.sign(a) : 计算各元素的符号值 1(+),0,-1(-) 

np.isnan() 返回是 nan 的布尔型数组

np.maximum(a, b) np.fmax() : 比较(或者计算)元素级的最大值 

np.minimum(a, b) np.fmin() : 取最小值 

np.mod(a, b) : 元素级的模运算 

np.copysign(a, b) : 将b中各元素的符号赋值给数组a的对应元素
 cos/cosh/sin/sinh/tan/tanh 普通型函数和双曲线三角函数

数据的CSV文件存取

CSV (Comma-Separated Value,逗号分隔值) 只能存储一维和二维数组

存入文件

np.savetxt(frame, array, fmt=’% .18e’, delimiter = None):

 frame是文件、字符串等,可以是.gz .bz2的压缩文件; 

array 表示存入的数组;

 fmt 表示元素的格式 eg: %d % .2f % .18e ; 

delimiter: 分割字符串,默认是空格 

eg: np.savetxt(‘a.csv’, a, fmt=%d, delimiter = ‘,’ )

读取文件

np.loadtxt(frame, dtype=np.float, delimiter = None, unpack = False) :

 frame是文件、字符串等,可以是.gz .bz2的压缩文件;

 dtype:数据类型,读取的数据以此类型存储; 

delimiter: 分割字符串,默认是空格; unpack: 如果为True, 读入属性将分别写入不同变量。 

多维数据的存取 

a.tofile(frame, sep=’’, format=’%s’ ) :

 frame: 文件、字符串; 

sep: 数据分割字符串,如果是空串,写入文件为二进制 ;

 format:: 写入数据的格式 

eg: a = np.arange(100).reshape(5, 10, 2) 

a.tofile(“b.dat”, sep=”,”, format=’%d’)

np.fromfile(frame, dtype = float, count=-1, sep=’’): 

frame: 文件、字符串 ; 

dtype: 读取的数据以此类型存储; 

count:读入元素个数, -1表示读入整个文件; 

sep: 数据分割字符串,如果是空串,写入文件为二进制

PS: a.tofile() 和np.fromfile()要配合使用,要知道数据的类型和维度。

np.save(frame, array) : 

frame: 文件名,以.npy为扩展名,压缩扩展名为.npz ; 

array为数组变量 

PS:np.load(fname) : frame: 文件名,以.npy为扩展名,压缩扩展名为

np.save() 和np.load() 使用时,不用自己考虑数据类型和维度。

numpy随机数函数

numpy 的random子库

rand(d0, d1, …,dn) : 各元素是[0, 1)的浮点数,服从均匀分布 

randn(d0, d1, …,dn):标准正态分布 

randint(low, high,( shape)): 依shape创建随机整数或整数数组,范围是[ low, high) 

seed(s) : 随机数种子

shuffle(a) : 根据数组a的第一轴进行随机排列,改变数组a 

permutation(a) : 根据数组a的第一轴进行随机排列, 但是不改变原数组,将生成新数组 

choice(a[, size, replace, p]) : 从一维数组a中以概率p抽取元素, 形成size形状新数组,replace表示是否可以重用元素,默认为False。 
replace = False时,选取过的元素将不会再选取

uniform(low, high, size) : 产生均匀分布的数组,起始值为low,high为结束值,size为形状 

normal(loc, scale, size) : 产生正态分布的数组, loc为均值,scale为标准差,size为形状 

poisson(lam, size) : 产生泊松分布的数组, lam随机事件发生概率,size为形状 

eg: a = np.random.uniform(0, 10, (3, 4)) a = np.random.normal(10, 5, (3, 4))

eg:
img

numpy的统计函数

sum(a, axis = None) : 依给定轴axis计算数组a相关元素之和,axis为整数或者元组 

mean(a, axis = None) : 同理,计算平均值,axis表示轴向

average(a, axis =None, weights=None) : 依给定轴axis计算数组a相关元素的加权平均值 

std(a, axis = None) :同理,计算标准差 

var(a, axis = None): 计算方差 

eg: np.mean(a, axis =1) : 对数组a的第二维度的数据进行求平均 

a = np.arange(15).reshape(3, 5) 

np.average(a, axis =0, weights =[10, 5, 1]) : 对a第一各维度加权求平均,weights中为权重,注意要和a的第一维匹配

min(a) max(a) : 计算数组a的最小值和最大值 

argmin(a) argmax(a) : 计算数组a的最小、最大值的下标(注:是一维的下标) 

unravel_index(index, shape) : 根据shape将一维下标index转成多维下标 

ptp(a) : 计算数组a最大值和最小值的差 

median(a) : 计算数组a中元素的中位数(中值) 

eg:a = [[15, 14, 13], 

[12, 11, 10] ] 

np.argmax(a) –> 0 

np.unravel_index( np.argmax(a), a.shape) –> (0,0)

arr = np.array([[0,1,2],[3,4,5],[6,7,8]])
arr.cumsum(0) 纵向上累加
arr.cumprod(1) 横向上累积
 np.cumsum(a,axis=0) 纵向上累加

numpy的梯度函数

np.gradient(a) : 计算数组a中元素的梯度,f为多维时,返回每个维度的梯度 

离散梯度: xy坐标轴连续三个x轴坐标对应的y轴值:a, b, c 其中b的梯度是(c-a)/2 

而c的梯度是: (c-b)/1

当为二维数组时,np.gradient(a) 得出两个数组,第一个数组对应最外层维度的梯度,第二个数组对应第二层维度的梯度。

img

图像的表示和变换

PIL, python image library 库 

from PIL import Image 

Image是PIL库中代表一个图像的类(对象)

im = np.array(Image.open(“.jpg”))

im = Image.fromarray(b.astype(‘uint8’)) # 生成 

im.save(“路径.jpg”) # 保存

im = np.array(Image.open(“.jpg”).convert(‘L’)) # convert(‘L’)表示转为灰度图

数组间运算

np1, np2
np.add(np1,np2) 对应元素相加
np.subtract(np1,np2)  从第一个数组中减去第二个数组中元素
np.multiply(np1,np2) 数组元素相乘
np.divide(np1,np2) 除法
np.floor_divide(np1,np2) 向下圆整除发=法(丢弃余数)
np.power(np1,np2) 计算对应元素指数
maximum/fmax 元素最大值计算 fmax 忽略 nan
minimum/fmin 最小值计算
mod 求模计算 除法余数
copysign 第二个数组符号复制给第一个数组值
greater/greater_equal/less/less_equal/equal/not_equal 相当于 >,>=,<,<=,==,!=
logical_and,logical_or,logical_xor 相当于 &,|,^

条件逻辑表述为数组运算

np.where 函数 表达为 x if condition else y 
x = np.array([1,2,3,4,5])
x = np.array([6,7,8,9,10])
cond = np.array([True,false,True,True,false])
result = np.where(cond,x,y) True则 x 对应元素, false 则 y 对应元素

result = array([1,7,3,4,10])

arr = randn(4,4)
np.where(arr > 0,2,-2) 大于0的替换为2,小于0的替换成-2
np.where(arr > 0,2,arr) 只将正值设置为2,负值仍为 arr 元素

布尔型数组
arr = randn(100)
(arr>0).sum() 统计正值的数量

bools = np.array([false,false,True,false])
bools.any() 检测是否存在一个或多个 True
bools.all() 检测是否全为 True

排序

arr = randn(8)
arr.sort()

多维数组可以在任何一个轴上进行排序
arr.sort(1) 横向排序

集合逻辑运算

names = np.array([1,2,3,4,5,2,3,4])
np.unique(names)
>> array(1,2,3,4,5) 各元素唯一值值并排序

 np.in1d(arr,[list]) arr 在 list 的成员资格,返回布尔型数组
 >> array([True,False])

 np.intersect1d(x,y) 计算公共值,并返回有序集合
 np.union1d(x,y)计算并集,返回有序结果
 setdiff1d(x,y) 集合差, x 不在 y 中
 setxor1d(x,y) 集合对称差

线性代数

dot() 矩阵乘法
det 计算矩阵行列式
inv()计算方阵的逆
lstsq 计算 Ax = b 最小二乘解
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容