00003. 参数化多项式分布时，为什么使用k-1个参数？

多项式分布

我们知道，对于有\small{k}个不同可能目标变量取值的学习问题，使用多项式分布(multinominal distribution)来建模。但是为什么参数化多项式分布时，为什么不选择\small{k}个参数，而是\small{k-1}个参数呢？

正则化公理

我们所选择的\small{k-1}参数的含义是对应各自输出值的概率大小。这样一来，最后一个输出值的概率可以由正则性公理得到\small{\phi_{i}=p(y=i;\vec{\phi}), i=1,\cdots,k-1} \small{\phi_{k}=p(y=k;\vec{\phi})=1-\sum_{i=1}^{k-1}\phi_{i}} 因此只有\small{k-1}个参数是相互独立的。

延伸

一个类似但不同的问题是，为什么总体方差的无偏估计的系数是\small{\frac{1}{n-1}}而非\small{\frac{1}{n}}? 知乎有对这个问题专门的讨论。

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容