概念
采样，也称为取样、抽样。是指从总体中抽取个体或样品的过程，也即对总体进行试验或观测的过程。
基本定理
每一个样本都有相同的概率被采用进入试样中，最简单的采样方式为均匀采样。
原则
- 减熵性（Entropy Reduction）：变换后的概率分布始终小于变换前的概率分布
- 保序性（Order Preservation）：元素排列的顺序不变
- 保斜率性（Slope Preservation）：分布的“斜率”保持不变
组织形式
采样分随机抽样和非随机抽样两种类型。
- 前者指遵照随机化原则从总体中抽取样本的抽样方法，它
不带任何主观性，包括 简单随机抽样 、系统抽样、整群抽样和分层抽样等组织形式。 - 后者是一种凭研究者的观点、经验或者有关知识来抽取样本的方法，
带有明显主观色彩，包括偶遇抽样、判断抽样、等额抽样、滚雪球抽样等组织形式。
组织形式不同，采样的平均误差、效果也不同。
使用场景
- 不平衡数据集问题（机器学习）
- 图像的放大缩小问题（深度学习/CV）
- 音视频问题（信号领域）
采样的一些分类
-
过采样 (oversampling)和欠采样 (undersampling) -
上采样(upsampling)/图像插值(interpolating)和下采样(subsampled) -
降采样(downsampled)和子采样/次级采样(subsampling)
采样算法（得到一个用于采样的概率向量P）
过采样
- Synthetic Minority Oversampling Technique (
SMOTE) - Border-line SMOTE
- Adaptive Synthetic (
ADASYN)
欠采样
- EasyEnsemble
- BalanceCascade
- NearMiss
- Tomek’s links (
Tomek) - Edited data set using nearest neighbours (
ENN)
Top-K（前K大）
在采样前将输出的概率分布截断，取出概率最大的k个特征构成一个集合，然后将这个子集词的概率再归一化，最后从新的概率分布中采样
top-k
Nucleus 核采样
也是考虑前若干个概率最大的词，不过以一种概率累计式的方法
Nucleus
Tempered
在原概率上增加一个温度项，即
Tempered
Tempered Top-k采样
Tempered Top-k采样
Thompson(汤普森)采样
蓄水池算法
MCMC算法
蒙特卡罗算法
蒙特卡罗方法 （ Monte Carlo method ），也称 统计模拟方法 ，是指使用 随机数 （或更常见的 伪随机数 ）来解决很多计算问题的方法。是在1940年代中期，由于科学技术的发展和电子计算机的发明，而提出的一种以概率统计理论为指导的数值计算方法，与它对应的是 确定性算法。
20世纪40年代，在科学家 冯·诺伊曼 、斯塔尼斯拉夫·乌拉姆 和 尼古拉斯·梅特罗波利斯 于 洛斯阿拉莫斯国家实验室 为核武器计划工作时，发明了 蒙特卡罗方法，因为乌拉姆的叔叔经常在 摩纳哥 的 蒙特卡洛赌场 输钱得名。
蒙特卡洛对某一种分布的采样方法有直接采样、接受拒绝采样与重要性采样三种。
- 马尔科夫链
- 马尔科夫链蒙特卡洛法
Gibbs Sampling（多元数据）
不平衡数据获取
imblearn.datasets 包，该包与sklearn.datasets 包形成了很好的互补。
其主要有以下两个功能：
- 提供一系列的不平衡数据集来实现测试
fetch_datasets允许获取27个不均衡且二值化的数据集 - 提供一种工具将原始的平衡数据转换为不平衡数据
make_imbalance方法可以使得原始的数据集变为不平衡的数据集，主要是通过ratio参数进行控制
。。。更新中
参考文章
- 降采样，过采样，欠采样，子采样，下采样，上采样【转自EDNChina】
- 数据预处理--上采样（过采样）与下采样（降采样）
- 机器学习之类别不平衡问题 (3) —— 采样方法
- 图像重采样（上下采样）
- 图像子采样
- 【音视频基础】(十四)：YUV颜色空间之图像子采样
- 香侬读 | 采样算法哪家强：一个针对主流采样算法的比较
- 路径规划 | 随机采样算法：PRM、RRT、RRT-Connect、RRT*
- MCMC等采样算法
- 蒙特卡罗方法采样算法
- 一文看懂蒙特卡洛采样方法
- 蒙特卡洛采样_如何快速理解马尔科夫链蒙特卡洛法？
- 推荐算法之Thompson(汤普森)采样
- 采样方法(Sampling Method)
- 抽样的方法有哪六种
- 彭松森，崔永刚主编,统计学,济南出版社,2003.06,第210页
