在机器学习领域中，NumPy是最基本的数据结构，用于存储矩阵和执行与矩阵计算相关的操作。本文主要分享关于NumPy的一些使用小技巧，通过矩阵计算避免循环逻辑。
- 概率矩阵 转 OneHot矩阵
- 列表的置信区间
- 桶区间索引列表
- 异常值检测
- 连续列表离散化
NumPy
概率矩阵 转 OneHot矩阵
在多分类过程中，经常需要将概率矩阵转换为One-Hot矩阵，用于验证模型效果。
- 计算概率矩阵中每一行的最大值位置；
- 创建与类别维度相同的对角线矩阵；
- 根据最大位置, 选择对角线矩阵相应的行, 即One-Hot矩阵。
源码实现：
def prp_2_oh_array(arr):
"""
概率矩阵转换为OH矩阵
arr = np.array([[0.1, 0.5, 0.4], [0.2, 0.1, 0.6]])
:param arr: 概率矩阵
:return: OH矩阵
"""
arr_size = arr.shape[1] # 类别数
arr_max = np.argmax(arr, axis=1) # 最大值位置
oh_arr = np.eye(arr_size)[arr_max] # OH矩阵
return oh_arr
输出：
[[0. 1. 0.]
[0. 0. 1.]]
列表的置信区间
当桶编码数字列表时，需要使用置信区间进行处理异常值，和桶区间的划分。
import numpy as np
from scipy import stats
def mean_confidence_interval(data_list, confidence=0.95):
"""
置信区间
data_list = [1, 2, 3, 4, 5, 6, 10]
(4.428571428571429, 1.6613839667258272, 7.19575889041703)
:param data_list: 数字列表
:param confidence: 置信度
:return: 均值和置信区间
"""
a = 1.0 * np.array(data_list)
n = len(a)
m, se = np.mean(a), stats.sem(a)
h = se * stats.t.ppf((1 + confidence) / 2., n - 1)
return m, m - h, m + h
桶区间索引列表
使用digitize()函数，将不同的数字放入桶中，即将连续列表离散化。注意：桶数是区间数的长度加1，左右两侧均有，从0开始。
import numpy as np
x = np.array([0.1, 6.4, 3.0, 1.6, 25, 30])
bins = np.array([1.0, 2.5, 4.0, 10.0]) # 区间包含首位，即len+1
inds = np.digitize(x, bins) # 转换为桶的值
print inds
输出：
[0 3 2 1 4 4]
异常值检测
将数据中的异常值（Outlier）替换为最大值和最小值，避免对于分布的形态造成干扰。
def filter_outliers(data, m=1):
"""
异常值检测
data = np.array([-100, 0.1, 6.4, 3.0, 1.6, 25, 30, 100])
[ 0.1 0.1 6.4 3. 1.6 25. 30. 30. ]
:param data: 数据列表
:param m: 偏离标准差的数量
:return: 去除标准差的数据
"""
std_arr = data[abs(data - np.mean(data)) < m * np.std(data)]
max_ol = data - np.mean(data) > m * np.std(data)
min_ol = data - np.mean(data) < -m * np.std(data)
data[max_ol] = np.max(std_arr)
data[min_ol] = np.min(std_arr)
return data
连续列表离散化
将连续列表离散化，去除异常值，基于置信度进行分区。其中，函数filter_outliers和mean_confidence_interval参考上文实现。
def continuous_list_to_discrete(cont_list, bc=32, confidence=0.95):
"""
连续数据离散化，含有去除异常值
x = np.array([-100, 0.1, 6.4, 3.0, 1.6, 25, 30, 100])
[ 0 0 8 4 2 31 31 31]
:param cont_list: 连续列表
:param bc: 桶数量
:param confidence: 置信度
:return: 离散列表
"""
cont_list = filter_outliers(cont_list) # 去除异常值
m, h = mean_confidence_interval(cont_list, confidence)
bins = np.linspace(m - h, m + h, bc - 1) # 桶数量减1为区间数
dis_list = np.digitize(cont_list, bins) # 转换为桶的值
return dis_list
欢迎Follow我的GitHub：https://github.com/SpikeKing
By C. L. Wang @ 美图云事业部
OK, that's all!
