L1和L2比最大的区别是L1得到的参数解有更多的零,就是解更稀疏。
有两种较直观的解释:
1.最小均方函数导数不为0时,L2导数加上最小均方函数导数肯定不为0。但是L1的正则项是绝对值函数,导数为0只要在x从左边趋向于0和从右边趋向于0时导数异号就行,所以更容易得到稀疏解。
2.目标函数最小均方差解空间为同心圆,L2解空间也为同心圆,L1解空间为菱形,两个解空间相交处为最优值。如图1所示。
L1和L2比最大的区别是L1得到的参数解有更多的零,就是解更稀疏。
有两种较直观的解释:
1.最小均方函数导数不为0时,L2导数加上最小均方函数导数肯定不为0。但是L1的正则项是绝对值函数,导数为0只要在x从左边趋向于0和从右边趋向于0时导数异号就行,所以更容易得到稀疏解。
2.目标函数最小均方差解空间为同心圆,L2解空间也为同心圆,L1解空间为菱形,两个解空间相交处为最优值。如图1所示。