第六周 - 20180516

NEAT原理及事例驱动

所谓NEAT算法即通过增强拓扑的进化神经网络(Evolving Neural Networks through Augmenting Topologies),算法不同于我们之前讨论的传统神经网络,它不仅会训练和修改网络的权值,同时会修改网络的拓扑结构,包括新增节点和删除节点等操作。 NEAT算法几个核心的概念是:

基因:网络中的连接

基因组:基因的集合

物种:一批具有相似性基因组的集合

Fitness:有点类似于增强学习中的reward函数

generation:进行一组训练的基因组集合,每一代训练结束后,会根据fitness淘汰基因组,并且通过无性繁殖和有性繁殖来新增新的基因组

基因变异:发生在新生成基因组的过程中,可能会出现改变网络的权重,增加突出连接或者神经元,也有可能禁用突触或者启用突触

但和简单的遗传算法以及进化算法不同,其重点在于拓扑结构的进化以及改变上:


增强拓扑的神经网络既可以有深度网络的分布式表达能力,又可以拥有CNN这样具有权重共享特性的神经网络的简洁性,广泛运用于强化学习(例如机器人,仿生人等),但在本项目中,项目组将其运用在自然语言分析之中。

此外,和主流强化学习框架一样,NEAT的算法往往可以被设计为事例驱动,而不是传统深度学习算法的“数据驱动”或是“模型驱动”。例如,RNN和CNN往往将更多的注意力集中在网络拓扑结构上,而NEAT的拓扑结构由事例以及进化决定。总而言之,这种不算是太古老但充斥着暴力美学的算法值得在领域内更多地被尝试。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 雷雨交加, 咿呀学语的婴儿有妈妈的怀抱, 在安全的港湾里再次安睡, 睁着眼睛睡到天明的, 是灵魂无归宿的浪子。 几...
    井溢阅读 347评论 0 2
  • 最近一直在整合自动化打包自动完成拆包→修改xml→替换图标→打包→签名→360加固→签名→输出渠道包基于sign_...
    郭百度阅读 506评论 0 0
  • 一些我最近正在用的护肤品。G露和美容油对我这种干皮很友好。雅诗兰黛的线雕精华听说28天有肉眼可见的效果,涂到脸上都...
    茗岚阅读 424评论 0 0
  • 作者|五花马 就黑龙江汤姓女孩被性侵一案(下称“汤案”),2018年1月30日,澎湃新闻微信公号头条推出一篇报道“...
    五花马00阅读 4,534评论 2 3