现在一提到AI我们想到的一般都是什么大语言模型、深度学习等，但是以算法为核心的这个领域的应用，其发展的过程是怎么样的？有怎样的分类方法？通过这样时间的纵向梳理和类别的横向并列就能对这个领域的沿革和类别有了经纬交织的理解，能获得全面的一个把控，实现俯视这个领域。本篇文章说机器学习的来源与发展沿革。
一大堆数据中存在什么结构或者模式吗，通过建立模型来描述这些结构，并且把这个模型用于对未知数据进行推断或预测。这一直是人类试图把握世界的一种方法，这样可以简化对象，掌握关键因素和演化关系。二十世纪二十年代，基于当时的概率和数理统计的发展，在小数据量上形成简单模型，如线性回归等，强调理论性，可解释性好，统计学习应运而生。随着计算机技术的发展，需要大量运算的贝叶斯统计快速发展，成为统计学习的又一个主力，随着数据海量化和数据维度的暴涨，只能使用更复杂的模型来拟合，于是在1980年代开始出现了改变世界的机器学习。统计学习更偏理论分析和可解释性，机器学习则关注预测性能和工程实现。
关注决策对结果影响的“统计决策”在构建模型中的核心地位，引入优化理论（如梯度下降）来构建有效算法，将生物学和物理学的一些方法引入到模型中，这是机器学习对统计学习的发展。
机器学习有多条发展路线，其中基于模仿生物神经元连接方式的连接主义取得了很好的效果。在此基础上，发展出了深度学习以及当下如日中天的大语言模型。他们之间是一种完全包括的关系。
看上图时请注意其层次方式和线条。虚线框表示使用的理论基础。
⊃：集合中的包含关系。
缩写内容：SVM: 支持向量机 。 CNN:卷积神经网络。RNN : 循环神经网络。 LSTM：长短期记忆网络。 GAN：生成对抗网络。 DQN：深度 Q 网络。 GPT：生成式预训练变换模型。 BERT：双向编码器表示的变换模型。 PaLM：路径语言模型 。 Claude： Claude 模型（没有特定的翻译，一般保留其英文名称）
连结线：1.双实线：技术继承关系。 2.实线：特点和代表 3.虚线：理论基础
