利用数组进行数据处理
NumPy数组使你可以将许多种数据处理任务表述为简洁的数组表达式（否则需要编写循环）。用数组表达式代替循环的做法，通常被称为矢量化。
矢量化数组运算要比等价的纯Python方式快上一两个数量级
利用数组进行数据处理 将条件逻辑表述为数组运算
传统方式缺点：
- 列表推导的局限性
- 纯Python代码，速度不够快。
- 无法应用于高维数组
解决方法：where
# -*- coding: utf-8 -*-
import numpy as np
import numpy.random as np_random
'''
关于zip函数的一点解释，zip可以接受任意多参数，然后重新组合成1个tuple列表。
zip([1, 2, 3], [4, 5, 6], [7, 8, 9])
返回结果：[(1, 4, 7), (2, 5, 8), (3, 6, 9)]
'''
print('通过真值表选择元素')
x_arr = np.array([1.1, 1.2, 1.3, 1.4, 1.5])
y_arr = np.array([2.1, 2.2, 2.3, 2.4, 2.5])
cond = np.array([True, False, True, True, False])
result = [(x if c else y) for x, y, c in zip(x_arr, y_arr, cond)] # 通过列表推到实现
print(result)
print(np.where(cond, x_arr, y_arr) ) # 使用NumPy的where函数
print('更多where的例子')
arr = np_random.randn(4, 4)
print(arr)
print(np.where(arr > 0, 2, -2))
print(np.where(arr > 0, 2, arr))
print('where嵌套')
cond_1 = np.array([True, False, True, True, False])
cond_2 = np.array([False, True, False, True, False])
# 传统代码如下
result = []
for i in range(len(cond)):
if cond_1[i] and cond_2[i]:
result.append(0)
elif cond_1[i]:
result.append(1)
elif cond_2[i]:
result.append(2)
else:
result.append(3)
print(result)
# np版本代码
result = np.where(cond_1 & cond_2, 0, np.where(cond_1, 1, np.where(cond_2, 2, 3)))
print(result)
利用数组进行数据处理 数学和统计方法
统计函数
# -*- coding: utf-8 -*-
import numpy as np
import numpy.random as np_random
print('求和，求平均')
arr = np.random.randn(5, 4)
print(arr)
print(arr.mean())
print(arr.sum())
print(arr.mean(axis = 1)) # 对每一行的元素求平均
print(arr.sum(0)) # 对每一列元素求和，axis可以省略。
'''
cumsum:
- 按列操作：a[i][j] += a[i - 1][j]
- 按行操作：a[i][j] += a[i][j - 1]
cumprod:
- 按列操作：a[i][j] *= a[i - 1][j]
- 按行操作：a[i][j] *= a[i][j - 1]
'''
print('cunsum和cumprod函数演示')
arr = np.array([[0, 1, 2], [3, 4, 5], [6, 7, 8]])
print(arr.cumsum(0))
print(arr.cumsum(1))
print(arr.cumprod(0))
print(arr.cumprod(1))
利用数组进行数据处理 用于布尔型数组的方法
sum对True值计数
any和all测试布尔型数组，对于非布尔型数组，所有非0元素将会被当做True
import numpy as np
import numpy.random as np_random
print('对正数求和')
arr = np_random.randn(100)
print(arr)
print((arr > 0).sum())
print('对数组逻辑操作')
bools = np.array([False, False, True, False])
print(bools.any()) # 有一个为True则返回True
print(bools.all()) # 有一个为False则返回False
利用数组进行数据处理 排序
直接排序
指定轴排序
import numpy as np
import numpy.random as np_random
print('一维数组排序')
arr = np_random.randn(8)
arr.sort()
print(arr)
print('二维数组排序')
arr = np_random.randn(5, 3)
print(arr)
arr.sort(1) # 对每一行元素做排序
print(arr)
print('找位置在5%的数字')
large_arr = np_random.randn(1000)
large_arr.sort()
print(large_arr[int(0.05 * len(large_arr))])
利用数组进行数据处理 去重以及其它集合运算
去重
import numpy as np
import numpy.random as np_random
print('用unique函数去重')
names = np.array(['Bob', 'Joe', 'Will', 'Bob', 'Will', 'Joe', 'Joe'])
print(sorted(set(names))) # 传统Python做法
print(np.unique(names))
ints = np.array([3, 3, 3, 2, 2, 1, 1, 4, 4])
print(np.unique(ints))
print('查找数组元素是否在另一数组')
values = np.array([6, 0, 0, 3, 2, 5, 6])
print(np.in1d(values, [2, 3, 6]))
数组文件的输入输出
将数组以二进制格式保存到磁盘
存取文本文件
import numpy as np
print('数组文件读写')
arr = np.arange(10)
np.save('some_array', arr)
print(np.load('some_array.npy'))
print('多个数组压缩存储')
np.savez('array_archive.npz', a = arr, b = arr)
arch = np.load('array_archive.npz')
print(arch['b'])
print ('读取csv文件做为数组')
arr = np.loadtxt('array_ex.txt', delimiter = ',')
print (arr)
线性代数
常用的numpy.linalg函数
Paste_Image.png
Paste_Image.png
import numpy as np
import numpy.random as np_random
from numpy.linalg import inv, qr
print('矩阵乘法')
x = np.array([[1., 2., 3.], [4., 5., 6.]])
y = np.array([[6., 23.], [-1, 7], [8, 9]])
print(x.dot(y))
print(np.dot(x, np.ones(3)))
x = np_random.randn(5, 5)
print('矩阵求逆')
mat = x.T.dot(x)
print(inv(mat)) # 矩阵求逆
print(mat.dot(inv(mat))) # 与逆矩阵相乘，得到单位矩阵。
print('矩阵消元')
print(mat)
q, r = qr(mat)
print(q)
print(r)
# TODO: http://docs.scipy.org/doc/numpy/reference/generated/numpy.linalg.qr.html q代表什么矩阵？
随机数生成
Paste_Image.png
Paste_Image.png
数组的合并和拆分
Paste_Image.png
import numpy as np
import numpy.random as np_random
print('连接两个二维数组')
arr1 = np.array([[1, 2, 3], [4, 5, 6]])
arr2 = np.array([[7, 8, 9], [10, 11, 12]])
print(np.concatenate([arr1, arr2], axis = 0)) # 按行连接
print(np.concatenate([arr1, arr2], axis = 1)) # 按列连接
# 所谓堆叠，参考叠盘子。。。连接的另一种表述
print('垂直stack与水平stack')
print(np.vstack((arr1, arr2))) # 垂直堆叠
print(np.hstack((arr1, arr2))) # 水平堆叠
print('拆分数组')
arr = np_random.randn(5, 5)
print(arr)
print('水平拆分')
first, second, third = np.split(arr, [1, 3], axis = 0)
print('first')
print(first)
print('second')
print(second)
print('third')
print(third)
print('垂直拆分')
first, second, third = np.split(arr, [1, 3], axis = 1)
print('first')
print(first)
print('second')
print(second)
print('third')
print(third)
print
# 堆叠辅助类
arr = np.arange(6)
arr1 = arr.reshape((3, 2))
arr2 = np_random.randn(3, 2)
print('r_用于按行堆叠')
print(np.r_[arr1, arr2])
print('c_用于按列堆叠')
print(np.c_[np.r_[arr1, arr2], arr])
print('切片直接转为数组')
print(np.c_[1:6, -10:-5])
例题
例题分析 距离矩阵计算
给定m × n阶矩阵X，满足X = [x 1 , x 2 , ... x n ]，这里第i列向量是m维向量。
求n × n矩阵，使得D ij = ||x i - x j || 2
