Deeplearning4j训练数据的准备【原创】

上一节我们搭建了DJ学习的基础环境，这一节我们来讲一下数据集的构建。Deeplearning4j 用内置类：DataSet 对训练数据进行封装（PS：DataSet 对象不仅可以封装单条训练数据，也可以封装一个 Mini-batch 的训练数据）。每一次迭代其实是用一个 DataSet 去更新神经网络中的参数。因此在 Deeplearning4j 中构建训练数据集的最终目的是生成一个 DataSet 迭代器或者 DataSet 序列。

CSV数据

/**
     * 1.1:通过CSVRecordReader创建数据
     * */
    public static DataSetIterator loadIrisIter(File file) throws IOException, InterruptedException {
        int batchSize = 30;
        int labelIndex = 4;
        int labelNum = 3;
        RecordReader recordReader = new CSVRecordReader();
        recordReader.initialize(new FileSplit(file));
        DataSetIterator trainData = new RecordReaderDataSetIterator(recordReader,batchSize,4,labelNum);

        return trainData;
    }

说明：当模型只需要方字训练时可以使用CSV，主要构建的对像是RecordReaderDataSetIterator。
用它来处理到数据集的转换、批处理、屏蔽等的迭代器。DL4J中最常用的迭代器之一。只处理非序列数据，作为输入。这里对上述代码做下说明，batchSize 是每个批次的训练数据大小。labelIndex 是“指定 CSV 文件中第几列是标注”。labelNum 是分类的类别数目。

案例：鸢尾花，波斯顿房价

图片数据

/**
     * 1.2:图片目录训练数据
     * */
    public static DataSetIterator loadImages(File parentDir) throws IOException {
        int width =24,height=24,channel=1,bathSize=30;
        long seed = 12345l;
        FileSplit fileSplit = new FileSplit(parentDir, NativeImageLoader.ALLOWED_FORMATS,new Random(seed));
        ParentPathLabelGenerator generator = new ParentPathLabelGenerator();
        BalancedPathFilter pathFilter = new BalancedPathFilter(new Random(seed),generator,1);
        InputSplit[] inputSplit = fileSplit.sample(pathFilter,100);
        ImageRecordReader recordReader = new ImageRecordReader(height,width,1,generator);
        recordReader.initialize(inputSplit[0],new MultiImageTransform(new Random(seed),new ShowImageTransform("图片处理")));
        DataSetIterator trainData = new RecordReaderDataSetIterator(recordReader,bathSize,1,recordReader.numLabels());
        return trainData;
    }

说明：图片训练数据是AI学习中使用最为常见数据之一。此例中将图片路径当作图片标签，使用FileSplit将数据100%分为训练数据。（当然也可以分成80，20，意思为80%训练数据，20%验证数据：InputSplit[] inputSplit = fileSplit.sample(pathFilter,80,20)），这里对上述变量作一下说明：width,height为图片宽高，channel为图片通道数，bathSize为每个批次的训练数据大小

案例：手写数据识别

ubyte数据

/**
     * 1.3:图片的下载与解压
     * **/
    public static  Boolean mnistManager() throws IOException {
        String featureFileDir = basePath + "train-images-idx3-ubyte";
        String labelFileDir = basePath + "train-labels-idx1-ubyte";
        MnistManager man = new MnistManager(featureFileDir,labelFileDir,true);
        int order[] = new int[60000];
        for(int i = 0,size = 60000;i<size;i++)order[i] = i;
        MathUtils.shuffleArray(order,123456L);
        for(int i =0,size =60000;i<size;i++){
            byte[] img = man.readImageUnsafe(order[i]);
            int label = man.readLabel(order[i]);
            Mat mat = new Mat(28,28,CV_8SC1,new BytePointer(img));
            JavaCVUtil.imWrite(mat,basePath+"/trainData/" + label + "_" + i + ".jpg");
        }
        return Boolean.TRUE;
    }

说明：在AI训练过程中要使用及其多的训练数据，为了压缩数据大小，一般会存为byte。此方法用来解压byte数据。

案例：MNIST手写数字数据集

附件

MNIST手写数字数据集下载地址：http://yann.lecun.com/exdb/mnist/
尾花分类问题的开源数据集下载地址：http://archive.ics.uci.edu/ml/datasets/Iris

下一篇讲解基础训练模型。

本人诚接各类商业AI模型训练工作，如果您是一家公司，想借助AI解决当前服务问题，可以联系我。微信号:CompanyAiHelper

最后编辑于：2019.11.12 13:54:39