读书计划 - 数据分析实战45讲 | 04丨Python科学计算:用NumPy快速处理数据 20181226

一,什么是 Numpy

它不仅是 Python 中使用最多的第三方库,而且还是 SciPy、Pandas 等数据科学的基础库。它所提供的数据结构比 Python 自身的“更高级、更高效”,可以这么说,NumPy 所提供的数据结构是 Python 数据分析的基础。

我上次讲到了 Python 数组结构中的列表 list,它实际上相当于一个数组的结构。而 NumPy 中一个关键数据类型就是关于数组的,那为什么还存在这样一个第三方的数组结构呢?

实际上,标准的 Python 中,用列表 list 保存数组的数值。由于列表中的元素可以是任意的对象,所以列表中 list 保存的是对象的指针。虽然在 Python 编程中隐去了指针的概念,但是数组有指针,Python 的列表 list 其实就是数组。这样如果我要保存一个简单的数组 [0,1,2],就需要有 3 个指针和 3 个整数的对象,这样对于 Python 来说是非常不经济的,浪费了内存和计算时间。

使用 NumPy 让你的 Python 科学计算更高效

为什么要用 NumPy 数组结构而不是 Python 本身的列表 list?这是因为列表 list 的元素在系统内存中是分散存储的,而 NumPy 数组存储在一个均匀连续的内存块中。这样数组计算遍历所有的元素,不像列表 list 还需要对内存地址进行查找,从而节省了计算资源。

另外在内存访问模式中,缓存会直接把字节块从 RAM 加载到 CPU 寄存器中。因为数据连续的存储在内存中,NumPy 直接利用现代 CPU 的矢量化指令计算,加载寄存器中的多个连续浮点数。另外 NumPy 中的矩阵计算可以采用多线程的方式,充分利用多核 CPU 计算资源,大大提升了计算效率。

当然除了使用 NumPy 外,你还需要一些技巧来提升内存和提高计算资源的利用率。一个重要的规则就是:避免采用隐式拷贝,而是采用就地操作的方式。举个例子,如果我想让一个数值 x 是原来的两倍,可以直接写成 x*=2,而不要写成 y=x*2。

这样速度能快到 2 倍甚至更多。

既然 NumPy 这么厉害,你该从哪儿入手学习呢?在 NumPy 里有两个重要的对象:ndarray(N-dimensional array object)解决了多维数组问题,而 ufunc(universal function object)则是解决对数组进行处理的函数。下面,我就带你一一来看。

ndarray 对象

ndarray 实际上是多维数组的含义。在 NumPy 数组中,维数称为秩(rank),一维数组的秩为 1,二维数组的秩为 2,以此类推。在 NumPy 中,每一个线性的数组称为一个轴(axes),其实秩就是描述轴的数量。

下面,你来看 ndarray 对象是如何创建数组的,又是如何处理结构数组的呢?

创建数组

1

import numpy as np

2

a = np.array([1, 2, 3])

3

b = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])

4

b[1,1]=10

5

print a.shape

6

print b.shape

7

print a.dtype

8

print b

复制代码

运行结果:

1

(3L,)

2

(3L, 3L)

3

int32

4

[[ 1  2  3]

5

[ 4 10  6]

6

[ 7  8  9]]

复制代码

创建数组前,你需要引用 NumPy 库,可以直接通过 array 函数创建数组,如果是多重数组,比如示例里的 b,那么该怎么做呢?你可以先把一个数组作为一个元素,然后嵌套起来,比如示例 b 中的 [1,2,3] 就是一个元素,然后 [4,5,6][7,8,9] 也是作为元素,然后把三个元素再放到 [] 数组里,赋值给变量 b。

当然数组也是有属性的,比如你可以通过函数 shape 属性获得数组的大小,通过 dtype 获得元素的属性。如果你想对数组里的数值进行修改的话,直接赋值即可,注意下标是从 0 开始计的,所以如果你想对 b 数组,九宫格里的中间元素进行修改的话,下标应该是 [1,1]。

结构数组

如果你想统计一个班级里面学生的姓名、年龄,以及语文、英语、数学成绩该怎么办?当然你可以用数组的下标来代表不同的字段,比如下标为 0 的是姓名、小标为 1 的是年龄等,但是这样不显性。

实际上在 C 语言里,可以定义结构数组,也就是通过 struct 定义结构类型,结构中的字段占据连续的内存空间,每个结构体占用的内存大小都相同,那在 NumPy 中是怎样操作的呢?

1

import numpy as np

2

persontype = np.dtype({

3

    'names':['name', 'age', 'chinese', 'math', 'english'],

4

    'formats':['S32','i', 'i', 'i', 'f']})

5

peoples = np.array([("ZhangFei",32,75,100, 90),("GuanYu",24,85,96,88.5),

6

      ("ZhaoYun",28,85,92,96.5),("HuangZhong",29,65,85,100)],

7

    dtype=persontype)

8

ages = peoples[:]['age']

9

chineses = peoples[:]['chinese']

10

maths = peoples[:]['math']

11

englishs = peoples[:]['english']

12

print np.mean(ages)

13

print np.mean(chineses)

14

print np.mean(maths)

15

print np.mean(englishs)

复制代码

运行结果:

1

28.25

2

77.5

3

93.25

4

93.75

复制代码

你看下这个例子,首先在 NumPy 中是用 dtype 定义的结构类型,然后在定义数组的时候,用 array 中指定了结构数组的类型 dtype=persontype,这样你就可以自由地使用自定义的 persontype 了。比如想知道每个人的语文成绩,就可以用 chineses = peoples[:][‘chinese’],当然 NumPy 中还有一些自带的数学运算,比如计算平均值使用 np.mean。

ufunc 运算

ufunc 是 universal function 的缩写,是不是听起来就感觉功能非常强大?确如其名,它能对数组中每个元素进行函数操作。NumPy 中很多 ufunc 函数计算速度非常快,因为都是采用 C 语言实现的。

连续数组的创建

NumPy 可以很方便地创建连续数组,比如我使用 arange 或 linspace 函数进行创建:

1

x1 = np.arange(1,11,2)

2

x2 = np.linspace(1,9,5)

复制代码

np.arange 和 np.linspace 起到的作用是一样的,都是创建等差数组。这两个数组的结果 x1,x2 都是 [1 3 5 7 9]。结果相同,但是你能看出来创建的方式是不同的。

arange() 类似内置函数 range(),通过指定初始值、终值、步长来创建等差数列的一维数组,默认是不包括终值的。

linspace 是 linear space 的缩写,代表线性等分向量的含义。linspace() 通过指定初始值、终值、元素个数来创建等差数列的一维数组,默认是包括终值的。

算数运算

通过 NumPy 可以自由地创建等差数组,同时也可以进行加、减、乘、除、求 n 次方和取余数。

1

x1 = np.arange(1,11,2)

2

x2 = np.linspace(1,9,5)

3

print np.add(x1, x2)

4

print np.subtract(x1, x2)

5

print np.multiply(x1, x2)

6

print np.divide(x1, x2)

7

print np.power(x1, x2)

8

print np.remainder(x1, x2)

复制代码

运行结果:

1

[ 2.  6. 10. 14. 18.]

2

[0. 0. 0. 0. 0.]

3

[ 1.  9. 25. 49. 81.]

4

[1. 1. 1. 1. 1.]

5

[1.00000000e+00 2.70000000e+01 3.12500000e+03 8.23543000e+05

6

3.87420489e+08]

7

[0. 0. 0. 0. 0.]

复制代码

我还以 x1, x2 数组为例,求这两个数组之间的加、减、乘、除、求 n 次方和取余数。在 n 次方中,x2 数组中的元素实际上是次方的次数,x1 数组的元素为基数。

在取余函数里,你既可以用 np.remainder(x1, x2),也可以用 np.mod(x1, x2),结果是一样的。

统计函数

如果你想要对一堆数据有更清晰的认识,就需要对这些数据进行描述性的统计分析,比如了解这些数据中的最大值、最小值、平均值,是否符合正态分布,方差、标准差多少等等。它们可以让你更清楚地对这组数据有认知。

下面我来介绍下在 NumPy 中如何使用这些统计函数。

计数组 / 矩阵中的最大值函数 amax(),最小值函数 amin()

1

import numpy as np

2

a = np.array([[1,2,3], [4,5,6], [7,8,9]])

3

print np.amin(a)

4

print np.amin(a,0)

5

print np.amin(a,1)

6

print np.amax(a)

7

print np.amax(a,0)

8

print np.amax(a,1)

复制代码

运行结果:

1

1

2

[1 2 3]

3

[1 4 7]

4

9

5

[7 8 9]

6

[3 6 9]

复制代码

amin() 用于计算数组中的元素沿指定轴的最小值。对于一个二维数组 a,amin(a) 指的是数组中全部元素的最小值,amin(a,0) 是延着 axis=0 轴的最小值,axis=0 轴是把元素看成了 [1,2,3], [4,5,6], [7,8,9] 三个元素,所以最小值为 [1,2,3],amin(a,1) 是延着 axis=1 轴的最小值,axis=1 轴是把元素看成了 [1,4,7], [2,5,8], [3,6,9] 三个元素,所以最小值为 [1,4,7]。同理 amax() 是计算数组中元素沿指定轴的最大值。

统计最大值与最小值之差 ptp()

1

a = np.array([[1,2,3], [4,5,6], [7,8,9]])

2

print np.ptp(a)

3

print np.ptp(a,0)

4

print np.ptp(a,1)

复制代码

运行结果:

1

8

2

[6 6 6]

3

[2 2 2]

复制代码

对于相同的数组 a,np.ptp(a) 可以统计数组中最大值与最小值的差,即 9-1=8。同样 ptp(a,0) 统计的是沿着 axis=0 轴的最大值与最小值之差,即 7-1=6(当然 8-2=6,9-3=6,第三行减去第一行的 ptp 差均为 6),ptp(a,1) 统计的是沿着 axis=1 轴的最大值与最小值之差,即 3-1=2(当然 6-4=2, 9-7=2,即第三列与第一列的 ptp 差均为 2)。

统计数组的百分位数 percentile()

1

a = np.array([[1,2,3], [4,5,6], [7,8,9]])

2

print np.percentile(a, 50)

3

print np.percentile(a, 50, axis=0)

4

print np.percentile(a, 50, axis=1)

复制代码

运行结果:

1

5.0

2

[4. 5. 6.]

3

[2. 5. 8.]

复制代码

同样,percentile() 代表着第 p 个百分位数,这里 p 的取值范围是 0-100,如果 p=0,那么就是求最小值,如果 p=50 就是求平均值,如果 p=100 就是求最大值。同样你也可以求得在 axis=0 和 axis=1 两个轴上的 p% 的百分位数。

统计数组中的中位数 median()、平均数 mean()

1

a = np.array([[1,2,3], [4,5,6], [7,8,9]])

2

# 求中位数

3

print np.median(a)

4

print np.median(a, axis=0)

5

print np.median(a, axis=1)

6

# 求平均数

7

print np.mean(a)

8

print np.mean(a, axis=0)

9

print np.mean(a, axis=1)

复制代码

运行结果:

1

5.0

2

[4. 5. 6.]

3

[2. 5. 8.]

4

5.0

5

[4. 5. 6.]

6

[2. 5. 8.]

复制代码

你可以用 median() 和 mean() 求数组的中位数、平均值,同样也可以求得在 axis=0 和 1 两个轴上的中位数、平均值。你可以自己练习下看看运行结果。

统计数组中的加权平均值 average()

1

a = np.array([1,2,3,4])

2

wts = np.array([1,2,3,4])

3

print np.average(a)

4

print np.average(a,weights=wts)

复制代码

运行结果:

1

2.5

2

3.0

复制代码

average() 函数可以求加权平均,加权平均的意思就是每个元素可以设置个权重,默认情况下每个元素的权重是相同的,所以 np.average(a)=(1+2+3+4)/4=2.5,你也可以指定权重数组 wts=[1,2,3,4],这样加权平均 np.average(a,weights=wts)=(1*1+2*2+3*3+4*4)/(1+2+3+4)=3.0。

统计数组中的标准差 std()、方差 var()

1

a = np.array([1,2,3,4])

2

print np.std(a)

3

print np.var(a)

复制代码

运行结果:

1

1.118033988749895

2

1.25

复制代码

方差的计算是指每个数值与平均值之差的平方求和的平均值,即 mean((x - x.mean())** 2)。标准差是方差的算术平方根。在数学意义上,代表的是一组数据离平均值的分散程度。所以 np.var(a)=1.25, np.std(a)=1.118033988749895。

NumPy 排序

排序是算法中使用频率最高的一种,也是在数据分析工作中常用的方法,计算机专业的同学会在大学期间的算法课中学习。

那么这些排序算法在 NumPy 中实现起来其实非常简单,一条语句就可以搞定。这里你可以使用 sort 函数,sort(a, axis=-1, kind=‘quicksort’, order=None),默认情况下使用的是快速排序;在 kind 里,可以指定 quicksort、mergesort、heapsort 分别表示快速排序、合并排序、堆排序。同样 axis 默认是 -1,即沿着数组的最后一个轴进行排序,也可以取不同的 axis 轴,或者 axis=None 代表采用扁平化的方式作为一个向量进行排序。另外 order 字段,对于结构化的数组可以指定按照某个字段进行排序。

1

a = np.array([[4,3,2],[2,4,1]])

2

print np.sort(a)

3

print np.sort(a, axis=None)

4

print np.sort(a, axis=0) 

5

print np.sort(a, axis=1) 

复制代码

运行结果:

1

[[2 3 4]

2

[1 2 4]]

3

[1 2 2 3 4 4]

4

[[2 3 1]

5

[4 4 2]]

6

[[2 3 4]

7

[1 2 4]]

复制代码

你可以自己计算下这个运行结果,然后再跑一遍比对下。

总结

在 NumPy 学习中,你重点要掌握的就是对数组的使用,因为这是 NumPy 和标准 Python 最大的区别。在 NumPy 中重新对数组进行了定义,同时提供了算术和统计运算,你也可以使用 NumPy 自带的排序功能,一句话就搞定各种排序算法。

当然要理解 NumPy 提供的数据结构为什么比 Python 自身的“更高级、更高效”,要从对数据指针的引用角度进行理解。

我今天重点讲了 NumPy 的数据结构,你能用自己的话说明一下为什么要用 NumPy 而不是 Python 的列表 list 吗?除此之外,你还知道那些数据结构类型?

练习题:统计全班的成绩

假设一个团队里有 5 名学员,成绩如下表所示。你可以用 NumPy 统计下这些人在语文、英语、数学中的平均成绩、最小成绩、最大成绩、方差、标准差。然后把这些人的总成绩排序,得出名次进行成绩输出。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,657评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,662评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,143评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,732评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,837评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,036评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,126评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,868评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,315评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,641评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,773评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,470评论 4 333
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,126评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,859评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,095评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,584评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,676评论 2 351

推荐阅读更多精彩内容

  • 基础篇NumPy的主要对象是同种元素的多维数组。这是一个所有的元素都是一种类型、通过一个正整数元组索引的元素表格(...
    oyan99阅读 5,120评论 0 18
  • 一、numpy概述 numpy(Numerical Python)提供了python对多维数组对象的支持:ndar...
    L_steven的猫阅读 3,461评论 1 24
  • numpy.random.randint Return random integers fromlow(inclu...
    onepedalo阅读 1,174评论 0 1
  • 该内容来源于:https://blog.csdn.net/cxmscb/article/details/54583...
    Sper_CL阅读 1,486评论 0 21
  • 学习重点 已有数据源的动态更新 如何使用参数动态切换所考察的变量 参考线、参考区间等的使用 坐标轴分区、象限图等的...
    李慕玄阅读 515评论 0 0