Pytorch中的DataLoader, DataSet, Sampler

DataLoader: 数据的迭代器,数据是model直接可用的格式。分成一个个的batch。

DataSet : 根据索引,拿到数据后。对数据进行 自定义的处理。具体处理逻辑,通过 定义 collate_fn调用的函数实现。将一个batch的数据进行合并操作。

                本身还负责加载初始数据。

Sampler : 选取一部分 索引 。可自定义,可选择pytorch中已经实现的sampler。如果自定义了sampler,那么shuffle需要设置为False。

参考:https://cloud.tencent.com/developer/article/1486791

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。