Creating and manipulating numerical data!
本期开始进入机器学习正题,首先是学习使用Numpy,通过调用Numpy库来处理数学计算。Numpy库比起Python代码相比,不仅构建多维数组和科学计算更加方便,还更加接近硬件,可以达到更高的计算效率,这也是我们为什么要用Numpy来进行数学计算。
Numpy数组
构建Numpy数组很简单,只需调用array()函数,我们一般会把numpy别名设置为np,方便频繁调用Numpy里面的函数。
>>> import numpy as np
>>> a = np.array([0, 1, 2, 3])
>>> a
array([0, 1, 2, 3])
我们构建的是一个一维数组,我们可以通过调用对象的成员的ndim和shape分别查看维度和形状:
>>> a.ndim
1
>>> a.shape
(4,)
假如创建一个三维数组:
>>> b = np.array([[0, 1, 2], [3, 4, 5]]) # 2 x 3 array
>>> b
array([[0, 1, 2], [3, 4, 5]])
>>> b.ndim
2
>>> b.shape
(2, 3)
但是我们一般都不会输入每个值来创建数组,我们可以通过一些函数来生成数组,例如生成均等分布的一维数组:
>>> b = np.arange(1, 9, 2) # 开始, 结束 (除外), 步数
>>> b
array([1, 3, 5, 7])
例如均等采样:
>>> c = np.linspace(0, 1, 6) # 开始, 结束, 采样个数
>>> c
array([ 0. , 0.2, 0.4, 0.6, 0.8, 1. ])
还有一些其他生成数组的函数,np.ones()生成值全为一的数组、np.zeros()值全为零、np.random.rand()均匀分布、np.random.randn()高斯分布等。
我们在生成数组的同时可以指定数值的类型,只需加一个函数里添加参数:
>>> c = np.array([1, 2, 3], dtype=float)
>>> c.dtype
dtype('float64')
Numpy对数组的操作(索引和切分)跟Python对列表的操作相同。
Numpy帮助
如果需要找Numpy某个函数的使用帮助,只需要在函数名后面加个?例如:
In [5]: np.array?
String Form:<built-in function array>
Docstring: array(object, dtype=None, copy=True, order=None, subok=False, ndmin=0, ...
但如果不知道函数名,想找到某个功能的函数,可以使用如下方法:
>>> np.lookfor('create array')
Search results for 'create array'
---------------------------------
numpy.array
Create an array.
numpy.memmap
Create a memory-map to an array stored in a *binary* file on disk.
或者你只是知道函数名的一部分,可以这样使用:
In [6]: np.con*?
np.concatenate
np.conj
np.conjugate
np.convolve
记得你在调用Numpy函数时确保你已经导入Numpy库,即:
import numpy as np
Numpy高级操作
对多项式的操作,例如
>>> p = np.poly1d([3, 2, -1])
>>> p(0)
-1
更多关于Numpy多项式http://docs.scipy.org/doc/numpy/reference/routines.polynomials.poly1d.html
Numpy导入数据
如果是文本数据,比如说txt文件:
# year hare lynx carrot
1900 30e3 4e3 48300
1901 47.2e3 6.1e3 48200
1902 70.2e3 9.8e3 41500
1903 77.4e3 35.2e3 38200
导入这个文件,用np.loadtxt(), Numpy会返回一个数组
>>> data = np.loadtxt('data/populations.txt')
>>> data
array([[ 1900., 30000., 4000., 48300.],
[ 1901., 47200., 6100., 48200.],
[ 1902., 70200., 9800., 41500.],
...
相反,如果要保存数据的话只需:
>>> np.savetxt('test.txt', data)
如果数据是图片的话,建议使用Matplotlib工具来导入,下一期会详细介绍这个工具。例如:
只需要导入Matplotlib里面的pyplot,就可对图像进行操作:
>>> from matplotlib import pyplot as plt
>>> img = plt.imread('data/elephant.png')
>>> img.shape, img.dtype
((200, 300, 3), dtype('float32'))
>>> plt.imshow(img) `
<matplotlib.image.AxesImage object at ...>
>>> plt.savefig('plot.png')
不仅仅是文本和图片的格式,还有很多其他的格式,Numpy对格式的支持还不是特别丰富,我们后面会讲到Scipy就可以满足大部分的数据格式,包括对Matlab、NetCDF和HDF5格式的支持。
Numpy格式
其实Numpy也可以生成自己的数据格式,属于二进制的格式,理论上是比较高效的,以.npy为后缀。
>>> data = np.ones((3, 3))
>>> np.save('pop.npy', data)
>>> data3 = np.load('pop.npy')
这一期关于Numpy库就介绍到这里,讲得并不详细,但数组和数学计算才是Numpy的重点,想要继续深入了解的话查看官方文档:https://docs.scipy.org/doc/numpy-dev/user/quickstart.html
下一期将会介绍Python的绘图工具:Matplotlib