3blue1brown-Neuron Network

此文记录看3blue1brown-Neuron Network重点:

1.gradient descent:

theta:=theta-alpha*(slope)

若slope负的,需要increase

若slope正的,需要decrease

绝对值大小,表示adjust的程度


2.paper-a closer look at memorization in deep networks:

NN不绝对只是memorize the dataset

如果数据集正确,学习很快,cost func曲线在最较初位置就会快速下降

如果是Random label的数据集,cost func曲线是linear下降的


3.paper-the loss surfaces of multilayer networks

如果数据结构化?local minimum 是同质量,学习起来也很容易

如果数据结构化?local minimum 是同质量,学习起来也很容易

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 承认自己偷懒,赖床了几天,书没看,简书也没写,运动更是少之又少。 自己还是在舒适区兜兜转转,真的有点苦恼。 想和做...
    见夏知晓阅读 1,638评论 0 0
  • 做人就一个及时行乐不要太在意别人的眼光 如果非要帮别人做你不喜欢的事来讨别人喜欢 不可能的 她只是使唤你 你不喜欢...
    培根杀手阅读 1,462评论 0 0