先从几个问题开始：
1.什么是深度学习。
也叫自我完善学习，仿照人类大脑的运行原理，找到自我学习的因子，权重，逻辑，进行自我纠正，逼近并且得到合乎逻辑的结果。
深度学习有区别于我们商业软件
商业软件，是人为控制的模式，通过定义每个业务逻辑，然后根据业务逻辑的顺序和步骤严格执行，达不到自我学习的要求。
深度学习追求的不是绝对准确的答案，而是一种无限接近正确的结果。
2.深度学习从哪里发展而来的，有几个里程碑节点
深度学习脱胎于60年前的开的人工智能，这里就想到《终结者1》中提到的天网，该电影是1984年拍摄，距今天已经将近40年。
发展的里程碑节点：
1997，RNN；LSTM；IBM深蓝
1998，LeCun；Reinforcement Learning
1999，EM；n-gram
2000，神经自回归网络
2001，异步随机梯度下降；神经语言模型；
2002，线性分类器，机器学习；
2004，Nesterov 加速梯度算法
2005，语音识别；GPU
2006，深度信念网络；
2007，基于 RBM 的无向概率模型；潜变量；最近邻分类器
2008，稀疏自编码器
2009，深度玻尔兹曼机；
2010，理解深度前馈神经网络训练的难点；
2012，ImageNet；AlexNet；LeNet
2013，变分自编码器；动量；word2vec；GloVe；Speech recognition with deep recurrent neural networks
2014，生成式对抗网络；Adam；ReLU用起来；attention；cifar-10；deep belief networks用起来；Dropout；深度信念网络 用起来
2015，指针网络；GRU；针对图像识别的深度残差学习；GoogleNet；Inception-ResNet；VGG；Batch正则化
2016，AlphaGo；Layer normalization
2017，Transformer，强化学习；Facebook的ConvS2S；
2018，BERT；ELMo；GPT系列；Transformer-XL；XLNet
2019，(deep) double descent；RoBERTa；ERNIE系列；Transformer XL；MeanSum
2020，CPM（Chinese Pre-trained Language Model）系列；MacBERT；Big Bird；BART；PEGASUS；T5
2021，openai的dall-e；CLIP；ChineseBERT；CPT（Chinese Pre-trained Unbalanced Transformer）；SimCLS
3.深度学习的代表人物，以及这些人物的主要贡献。
人工智能三巨头：
【1】杰弗里·辛顿：创建深度学习”分支，重要贡献发表《通过误差反向传播算法的学习表示》
误差反向传播算法：有输出反推输入，类似于我们常常做的反思从结果到开始的过程，每个推导的过程，设定权值多少， 权值越大，结果的概率越优先，深度学习就通过一遍遍练习和学习，形成了一套权值的集合，来再次从输入到输出。
【2】约书亚·本吉奥：序列的概率模型”+“高维词嵌入和注意”+“生成对抗网络
序列的概率模型：主要用于语音识别领域，根据明显变化的结果，推导出隐藏变化的结果，从而计算出隐形结果出现的概率。
高维词嵌入和注意:主要用于自然语言处理任务，简单来说就是通过中心词预测上下文或者是通过上下文预测中心词来学习词向量。
生成对抗网络：主要应用于图形图像上面，现在我们在抖音上有的AL变脸，他里面有2个角色，分别是临摹者和鉴别师，两者相互进步，最后达到以假乱真。
【3】杨立昆：卷积网络之父。
卷积网络:用于视觉方面，是多层的神经网络，通过每次的输出是下层的输入，每一层只提前某一类特征，使得结果逐渐清晰化。
4.人工智能现在的门派
“符号主义”（Symbolicism），又称逻辑主义、计算机学派，主张用公理和逻辑体系搭建一套人工智能系统。
代表人物 马文·明斯基 代表著作《感知器》 最基本的异或 0和1的符号取值。一派是自上而下的，即认为给出符号、规则和方法，
可以让机器具有人的理性思考能力，这有点像告诉一个孩子这是一个杯子，然后让孩子知道能够装水的都叫杯子；
“连接主义”（Connectionism），又叫仿生学派，主张模仿人类的神经元，用神经网络的连接机制实现人工智能。
代表人物 霍普菲尔德 神经网络算法 每个神经元由运算放大器和电容电阻这些元件组成
另一派则可能喜欢自内而外，他们认为机器可以学习大脑的原理，靠自己理解事物，继而便可以具有人类的智能。后者的思想往往会被称为联结主义。
两者的区别是可学习的伸缩性不一样：
第一种是有严密的逻辑，更像我们的商业软件，错就是错，对就是对。
第二种是一种自学习的方式，通过不断试错，得到有效的权值，拿到近似结果。
5.深度学习的几个关键词，关键词含义。
【1】计算神经科学：研究人脑作业原理的技术，大脑的活动通过刺激，到各种类型的蛋白质，产生生物电，进行信号传输，而深度学习也是类似这种的体制。
【2】模式识别：根据信息特征，进行信息分类。
【3】多巴胺（Dopamine）是脑干中一组由扩散投射神经元所携带的神经调节剂，长期以来一直被认为与奖励学习有关，而这个奖励就是让人产生兴奋感。
【4】细胞自动机：指的是对单个细胞进行简单的指令编程，之后会产生令人意想不到的群体模式（pattern）。
【5】无监督学习机制：无监督学习则是没有明确目的的训练方式，你无法提前知道结果是什么。他的反义词：监督学习是一种目的明确的训练方式，你知道得到的是什么；监督学习需要给数据打标签；而无监督学习不需要给数据打标签。监督学习由于目标明确，所以可以衡量效果；而无监督学习几乎无法量化效果如何。
【6】时域贡献度分配问题：但是当一方获胜时，应该归功于之前若干步骤中的哪些步骤呢？关键步骤的几个动作。
【7】时间差分学习算法：-强化学习：智能体（agent）通过采取行动（actions）和进行观察（observation）来积极探索环境。如果行动成功，执行器将得到奖励（rewards），类似于马戏团的动物按照标准动作来，就给他一定量的奖励。
【8】表征学习：利用大量样本进行训练，隐藏单元生成了可区分不同输入模式的选择性特征。当前机器学习算法的弱点：它们无法从信息中进行有效的提取和组织。 特征工程是一种利用人类独创性和先验知识来弥补这一弱点的方法。表征学习的目的是对复杂的原始数据化繁为简，把原始数据提炼成更好的数据表达，使后续的任务事半功倍。
所用的算法： 旅行商问题；模拟退火算法；动态规划算法。
深度学习和人的决策类似，根据认知不一样，也非常局限和片面，没有一个什么最优的，最优的都是事后总结的，人通过复盘。总结获取经验，反向规范下一次操作。
我们使用深度学习有一个目的，预测未来，避免灾难发生，还有一个目的，代替社会的分工。
说到社会，我就多提一个观点：社会因为分工而趋于稳定。
膜翅目昆虫是因为身体缺陷导致的社会分工-比如蚂蚁和蜜蜂，高度的协作化群体。
人不存在身体缺陷进行社会分工，而是通过智商和认知能力的高低，进行社会分工。
而人工智能可以创造出类似膜翅目昆虫的，更适合劳动的单一功能机器，类似现在的机械手/AGV等等。
现在的chatgpt解决的是自然语言的问题，而自然语言，是社会产生大规模协助的主要基石，而他也是天网系统的初级原型。
