image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
image.png
-
假设第一个任务和第二个任务需要不同的网络结构来解，比如第二个任务要识别的类别比第一个任务的增加了10个类别，就需要增加output layer的神经元节点。
image.png
image.png
image.png
image.png
image.png
image.png
image.png -
expert gate训练一个task detector，对于一个new task，task detector判断new task与之前的task哪一个最像，就把那个model的weight用来initialnew task model，model数量随task数量增加而增加。
image.png
image.png
new problem：task的顺序应该怎样才好？
image.png
-
Comment：学习task的顺序很重要，一般先学简单的task，再学比较难的task。简单的task的知识可以帮助难的task的学习。learning to teach就是研究学习顺序问题，可以将learning to teach的思想放到incremental learning中。
image.png
