(比较早的文章,略写一下科普)
-
作者采用MMD(maximum mean discrepancy)作为source domain和target domain之间的特征向量(feature vector)之间的距离的度量(metric),最小化MMD可以解决source domain和target domain之间的数据偏差(data-bias)问题:
-
网络架构(Krizhevsky architecture):
- 低5层卷积层学习source domain和target domain的共同特征
- 高层的全连接层当中加入了MMD损失(作者是选择在fc7层之后加入了一个"bottleneck"层(adaptaion layer),加入MMD metric损失)
- 所有的层共享权重 - source domain上加入了分类损失
- 如果分类仅仅使用source domain上的数据进行训练,会导致过拟合,所以作者使用最小化了source domain和target domain数据上距离的特征来对分类器进行训练。
-
最小化MMD(作者也称为最大化domain-confusion):
-
再加入source domain上的分类损失:
-
adaptation 层位置的选择(最终fc7),以及adaptation输出的特征向量的维度的选择(最终选择维度256)
-
是否加入MMD损失(正则项)