上一节我们搭建了DJ学习的基础环境，这一节我们来讲一下数据集的构建。Deeplearning4j 用内置类：DataSet 对训练数据进行封装（PS：DataSet 对象不仅可以封装单条训练数据，也可以封装一个 Mini-batch 的训练数据）。每一次迭代其实是用一个 DataSet 去更新神经网络中的参数。因此在 Deeplearning4j 中构建训练数据集的最终目的是生成一个 DataSet 迭代器或者 DataSet 序列。
CSV数据
/**
* 1.1:通过CSVRecordReader创建数据
* */
public static DataSetIterator loadIrisIter(File file) throws IOException, InterruptedException {
int batchSize = 30;
int labelIndex = 4;
int labelNum = 3;
RecordReader recordReader = new CSVRecordReader();
recordReader.initialize(new FileSplit(file));
DataSetIterator trainData = new RecordReaderDataSetIterator(recordReader,batchSize,4,labelNum);
return trainData;
}
说明：当模型只需要方字训练时可以使用CSV，主要构建的对像是RecordReaderDataSetIterator。
用它来处理到数据集的转换、批处理、屏蔽等的迭代器。DL4J中最常用的迭代器之一。只处理非序列数据，作为输入。这里对上述代码做下说明，batchSize 是每个批次的训练数据大小。labelIndex 是“指定 CSV 文件中第几列是标注”。labelNum 是分类的类别数目。
案例：鸢尾花，波斯顿房价
图片数据
/**
* 1.2:图片目录训练数据
* */
public static DataSetIterator loadImages(File parentDir) throws IOException {
int width =24,height=24,channel=1,bathSize=30;
long seed = 12345l;
FileSplit fileSplit = new FileSplit(parentDir, NativeImageLoader.ALLOWED_FORMATS,new Random(seed));
ParentPathLabelGenerator generator = new ParentPathLabelGenerator();
BalancedPathFilter pathFilter = new BalancedPathFilter(new Random(seed),generator,1);
InputSplit[] inputSplit = fileSplit.sample(pathFilter,100);
ImageRecordReader recordReader = new ImageRecordReader(height,width,1,generator);
recordReader.initialize(inputSplit[0],new MultiImageTransform(new Random(seed),new ShowImageTransform("图片处理")));
DataSetIterator trainData = new RecordReaderDataSetIterator(recordReader,bathSize,1,recordReader.numLabels());
return trainData;
}
说明：图片训练数据是AI学习中使用最为常见数据之一。此例中将图片路径当作图片标签，使用FileSplit将数据100%分为训练数据。（当然也可以分成80，20，意思为80%训练数据，20%验证数据：InputSplit[] inputSplit = fileSplit.sample(pathFilter,80,20)），这里对上述变量作一下说明：width,height为图片宽高，channel为图片通道数，bathSize为每个批次的训练数据大小
案例：手写数据识别
ubyte数据
/**
* 1.3:图片的下载与解压
* **/
public static Boolean mnistManager() throws IOException {
String featureFileDir = basePath + "train-images-idx3-ubyte";
String labelFileDir = basePath + "train-labels-idx1-ubyte";
MnistManager man = new MnistManager(featureFileDir,labelFileDir,true);
int order[] = new int[60000];
for(int i = 0,size = 60000;i<size;i++)order[i] = i;
MathUtils.shuffleArray(order,123456L);
for(int i =0,size =60000;i<size;i++){
byte[] img = man.readImageUnsafe(order[i]);
int label = man.readLabel(order[i]);
Mat mat = new Mat(28,28,CV_8SC1,new BytePointer(img));
JavaCVUtil.imWrite(mat,basePath+"/trainData/" + label + "_" + i + ".jpg");
}
return Boolean.TRUE;
}
说明：在AI训练过程中要使用及其多的训练数据，为了压缩数据大小，一般会存为byte。此方法用来解压byte数据。
案例：MNIST手写数字数据集
附件
MNIST手写数字数据集下载地址：http://yann.lecun.com/exdb/mnist/
尾花分类问题的开源数据集下载地址：http://archive.ics.uci.edu/ml/datasets/Iris
下一篇讲解基础训练模型。
本人诚接各类商业AI模型训练工作，如果您是一家公司，想借助AI解决当前服务问题，可以联系我。微信号:CompanyAiHelper
