nippy近红外光谱预处理


gitee
github
近红外光谱(NIRS)数据的半自动预处理Python模块。

一. nippy

1.1. 简介

  • nippy是一个Python(3.6+)模块,用于快速探索不同的NIRS预处理方法。
  • nippy收集和包装了最常见的预处理方法,并提供了用于快速构建具有可选预处理组合的预处理管道的工具。
  • 本模块的目的是使用户能够快速测试多种交替预处理技术,并测试这些技术如何影响NIRS模型的性能。

1.2. 使用方法

nippy分析的典型结构如下:

  • (1) 通过生成INI格式的配置文件,指定要尝试的方法和相关参数。(有关编写配置文件的详细文档,请查看CONFIGURATION.md).
    • 例如,将nippy配置为在三个不同的滤波器长度(7、11和31)下测试二阶导数Savitzky-Golay滤波(具有三阶多项式拟合),可以通过向配置文件添加以下部分来完成。
 [SAVGOL]
    filter_win = 7, 11, 31
    poly_order = 3
    deriv_order = 2
    also_skip = True
  • (2) 将NIR数据加载到numpy矩阵(行波长、列样本)。将波长加载到一个numpy向量中。
data = np.genfromtxt('nir_data.csv', delimiter=',')
wavelength = data[0, :]
spectra = data[1:, :].T  # Rows = wavelength, Columns = samples
  • (3) 导入nippy并使用nippy.read_configuration.
import nippy
pipelines = nippy.read_configuration('example_protocol.ini')
  • (4) nippy生成所有可能的预处理排列的列表。将数据和管道列表传递给nippy函数。
datasets = nippy.nippy(wavelength, spectra, pipelines)

变量数据集现在包含已根据pipelines变量中列出的方法进行预处理的数据集列表。预处理的数据可以在Python中使用,也可以导出以在其他应用程序中使用。

1.3. 需求

  • numpy (1.13.1+)
  • scipy (0.19.1+)
  • sklearn (0.19.2+)

1.4. 安装

pip install git+https://github.com/uef-bbc/nippy

1.5. 存储库内容

  • nippy.py: 包含所有预处理操作
  • handler.py: 用于生成和运行多个预处理管道的顶层脚本

1.6. 实例

  • example.py: 用于执行多个预处理管道的示例脚本
  • example.ini: nippy协议示例
  • nir_data.csv: 用于演示的小型NIR数据集

二、nippy.py

2.1. 导入的模块

模块/函数 来源库 用途
scipy.signal scipy 信号处理
scipy.io scipy 数据输入输出
scipy.ndimage scipy n维图像包
numpy 矩阵运算
sklearn.preprocessing.normalize sklearn 数据归一化处理
sklearn.preprocessing.scale sklearn 数据缩放处理
handler nippy 生成和运行多个预处理管道的顶层脚本
pickle python
os python

2.2 类

2.2.1 Preprocessor

函数(方法) 参数 输出 用途
类的方法
__ init __ self, wavelength, spectra, configuration_file wavelength, spectra, configuration, current_pipe_idx 构造方法
__ iter __ self self 迭代
__ next __ self wavelength_, spectra_, self.configuration[this_idx] 迭代处理
预处理方法
baseline spectra:NIRS data matrix spectra - np.mean(spectra, axis=0) 用均值法,删除每个光谱的基线
snv
rnv
lsnv
savgol
trim
resample
norml
detrend
msc
emsc
clip
smooth
derivate
工具方法
export_pipelines_to_csv
export_pipelines_to_mat
export_pipelines_to_pickle
run_pipeline
主方法
nippy
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容