中秋节前,OpenAI发布了O1版本的大模型,其在数学与代码生成领域展现出了突出的逻辑推理能力,令整个行业为之兴奋,让人看到了AGI路上又近了一步。中秋假期期间看了《我们为什么要睡觉?》,不免将人脑与当下人工智能进展关联起来,因此有了本文。
认知增强
大语言模型出现后,相比以往小模型,最大差异是认知能力的显著提升。大模型出现一年多,行业内最成熟的落地方式是问答和BI,本质还是搜索查询。利用大语言模型实现智能体(agent)并不算成熟,主要原因是受限于大模型逻辑推理能力。
OpenAI O1 发布后,在代码生成和数学推理两个方向显著提升了逻辑推理能力。背后原因主要是代码生成和数学推理相对容易定义强化学习奖励函数,再结合大模型生成多个结果,并最终找到正确结果,以此形成正例与负例,不断迭代大模型逻辑推理能力得到大幅度增强。
在OpenAI O1发布之前,恰好发布了《AI 产品经理如何理解强化学习?》,里面探讨了高中错题本学习机制,是人脑通过强化学习方式,不断提升成绩的现实案例。OpenAI O1 无疑巧妙的将强化学习数据飞轮机制,应用到了大模型后训练阶段,释放了大语言模型逻辑推理能力。
睡觉机制
在学生时代,高考前有同学半夜到厕所继续学习,体现了争分夺秒的状态。读完《我们为什么要睡觉?》会发现,睡觉本身并非看起来那么「不堪」。
人类体内本身也有生物钟,虽然不一定精准的是24小时,但通过每天生产生活活动,不断与太阳对齐。不同人的体质不同,有的人属于夜猫子,有的人属于早睡早起的风格,有个大学舍友就习惯白天睡觉,现在看来也只是节奏不同。工作后,科技企业通常环境宽松,会有一定的灵活上下班时间,给予不同人充分的选择。
几年前买了手环,可以监测睡眠时长和睡眠质量。慢慢关注到睡眠分为、深睡、浅睡、快速眼动的区别。以往只是数字,并不了解几种睡眠模式背后的意义。
深睡能够将短期记忆加工处理成长期记忆,还能够将白天大脑产生的垃圾清除,使得醒来后感到轻松;快速眼动擅长将不同的记忆建立连接,有利于创造力。深睡与快速眼动分别为大脑做了存储与数据连接的工作,都不可或缺,并且每天都在进行。
大脑深睡与快速眼动的机制,目前看起来是大语言模型缺乏的。外在体现是,大语言模型会存在记忆问题与缺乏真正的创造力。目前业界也只能通过高成本训练或者外挂知识库解决长短期记忆问题,有望通过强化学习挖掘创造力。
因此即便OpenAI O1展现出了新的进展和突破,相比于大脑低功耗和强大的自学习自更新机制,仍然显得当下实现AGI任重道远。
睡眠问题
《我们为什么要睡觉?》从机理层面,介绍了睡眠相关的问题,让我们可以理解睡眠和更好的睡眠。
睡眠不足,会导致身体感知和吸收糖的能力下降。一方面,会出现暴饮暴食,摄入过多糖分;另一方面,睡眠少导致细胞响应胰岛素作用弱,吸收糖分有限。进而造成肥胖和糖尿病的发生。10年前,某前辈因为睡眠少,压力大,又经常喝可乐,年纪轻轻就患了糖尿病。当时这些因素连在一起,只是感觉不好,这次从机理层面了解了前因后果。
深睡不足,会导致老年痴呆的风险增加。前几年有朋友通过AI技术,实现老年痴呆的早筛,其中背景是,老年痴呆患病人数增加,而且逐渐年轻化,对个人和家庭影响巨大。随着社会发展和年龄增长,人的总体睡眠和深睡时间都在减少,而深睡能够有效清除积累的毒蛋白等大脑垃圾,可以有效降低老年痴呆。现在看来,当年朋友做早筛,不如解决老人深睡少,更能有效缓解社会老年痴呆问题。
高中时,5:30就要起床跑操,现在了解到高中已经调整到6点起了。但从青少年合理睡眠角度,6点仍然太早,不利于快速眼动睡眠的进行,促进知识的连接和吸收。
有时出差出游,赶早班车或飞机,经常一天晕晕乎乎,可见也是深睡和快速眼动不足,影响了生活和工作状态。父母当年长期睡眠不足,又要做交通运输,还是冒着相当大的安全风险。
以往认知里,喝酒有助于睡眠,书中给出了相反的观点,喝酒无助于睡眠,只是让人进入麻醉状态,会出现感知不到的醒来,这倒是能从手环历史睡眠数据观察到。
理解做梦
每个人都会做梦,但并非大家都理解做梦的原理。因此有了周公解梦这样的解决方案,十几年前大学选修课学到了弗洛伊德《梦的解析》理论,感觉相比周公解梦更有合理性,但弗洛伊德理论仍然受到各种后来者挑战,核心原因是弗洛伊德精神分析学解梦,仍然不可避免陷入「算命」问题,不同的解梦者有不同的分析结论。
当分析梦构成的时候,确实存在日有所思、夜有所梦的情况;也会出现做的梦,跟白天事情或现实完全无关的情况;当然也存在早年困扰的梦境。
将做梦看成大脑实现数据连接和创造力迸发,显然更加「唯物主义」,因为确实存在白天困扰的问题,一觉醒来有了解决方案。而做梦本身,从唯物主义者角度讲,过程也不重要了。