统计学基础

概念：

随机变量，连续型变量，概率密度函数，边缘概率，条件概率，期望，方差，协方差，二项分布

http://blog.sina.com.cn/s/blog_13a4bb3270102vt7l.html

常用概率：

伯努利分布，Multinouli分布，高斯分布，Moivre-Laplace中心极限定理，指数分布，laplace分布

http://blog.sina.com.cn/s/blog_13a4bb3270102vthw.html

http://blog.sina.com.cn/s/blog_13a4bb3270102vte7.html

https://blog.csdn.net/su_jz/article/details/52579723

常用函数：

logistic sigmoid      softplus

信息论在深度学习的应用：

http://baijiahao.baidu.com/s?id=1602397684203775888&wfr=spider&for=pc