240 发简信
IP属地:广东
  • 120
    word2vec

    1. 万物可嵌入: embeddings本质反映了一种状态转移的概率,所以任何离散、会同时出现的模式都可以用嵌入后预测的方法解决。 2. 为什么不使用one-hot? 不能表...

  • 神经网络权值初始化

    1. 为什么权值初始化是个问题? 反向传播算法中,费用函数对于权值矩阵的梯度决定了更新的速率: 如果要避免梯度消失,首先即某一层的激活函数输出值不能为0; 其次, 则激活函数...

  • 120
    卷积

    以上来自知乎:通俗理解卷积[https://www.zhihu.com/question/22298352],本人尊重版权,仅作为笔记用 卷积就是以一个函数为输入函数,在输入...

  • 正则化之参数惩罚

    在线性模型中,为了预防overfitting过度拟合,添加了惩罚项 但是为何要加入这一惩罚项令人困惑。 预防过拟合这个答案给出了解释: 当过拟合的时候,为了匹配测试集里的所有...

  • 120
    反向传播算法

    吴恩达神经网络课程里,反向传播算法最难理解的是反向传播阶段怎样调整各层次的权值,费用函数的双层求和符号令人无限头大,于是费用函数的偏导数就更难证明。而课程此处略去一万字,最开...