在机器学习中我们通常使用范数来衡量一个向量的大小,其定义如下:
其中,。
范数是将向量映射到非负值的函数,通俗的说,向量的范数是衡量从原点到点的距离。
范数,即,代入上面公式中,严格说数学意义上是不对的,一般来说范数用来表示向量中非零元素的个数(有些情况下我们希望用向量中非零元素的个数来衡量向量的大小)。
范数,即,有如下:
范数用来表示向量中非零元素绝对值之和,在机器学习问题中,遇到零和非零元素之间的差异性非常重要时候,通常会使用范数。
范数,即,有如下:
范数也被成为欧几里得范数,可以表示从原点出发到向量确定点的欧几里得距离。通常被用来做优化目标函数的正则化项,防止模型因迎合训练集而过拟合,提高模型的泛化能力。通常,平方范数也能用来描述向量大小,可以通过计算点积。也就是说范数可以描述为。
范数,即,有如下:
范数也被成为最大范数,可以表示向量中具有最大幅值的绝对值。通常写法为:
用来衡量矩阵的大小,如: