Deep Reconstruction-Classication Networks for Unsupervised Domain Adaptation
作者:Muhammad Ghifary1, W. Bastiaan Kleijn, Mengjie Zhang, David Balduzzi, Wen Li
机构:Victoria University of Wellington(惠灵顿维多利亚大学), ETH Z�urich(苏黎世联邦理工大学)
来源:ECCV 2016
数据集: Experiment I: SVHN, MNIST, USPS, CIFAR, and STL
Experiments II: Office dataset
实现框架:Theano(创始者之一的 Ian Goodfellow 放弃 Theano 转去谷歌开发 Tensorflow。)
代码:有Keras和Pytorch两个版本,网址分别是:
https://github.com/fungtion/DRCN
感悟:
DRCN的思想还是很简洁的,两个pipeline,一个用监督学习,另一个用非监督学习。
动机
对DRCN结构的解读:
DRCN分成两个部分,第一部分用
损失函数如下:
优化目标如下:
训练停止的标准:重构损失的平均值稳定时。训练完成后,就可以利用训练出的特征提取器和分类器给目标域样本分配标签了。
对算法的解读:
The model is optimized through multitask learning [12], that is, jointly learns the (supervised) source label prediction and the (unsupervised) target data reconstruction tasks。
The aim is that the encoding shared representationshould learn the commonality between those tasks that provides useful informationfor cross-domain object recognition
训练策略
改善DRCN模型的两个策略:数据增强和去噪声。
数据增强用于监督训练阶段增加数据,这提高了训练出的模型的泛化能力。
去噪声用于重建数据时,这改善了DAE的特征不变性。