一、总览

二、简介

1. Logistic Regression (LR, 逻辑回归)

原理：

• 逻辑回归是分类问题中常用的线性模型，通过将线性回归结果映射到 (0, 1) 范围来预测概率。

20241230-2593a52f86d74ca4865fea76620f7467.png

应用：

• 二分类问题：如垃圾邮件分类、信用风险评估
• 多分类问题（通过 Softmax 回归扩展）
• 基线模型：用于快速验证数据是否线性可分。

2. 协同过滤 (Collaborative Filtering, CF)

原理：

• 基于用户行为数据（评分、点击等）的推荐方法。
• 两种主要形式：
  • 基于用户的协同过滤：根据用户相似性推荐。
  • 基于物品的协同过滤：根据物品相似性推荐。
• 通常通过矩阵分解（如 SVD、ALS）解决评分矩阵的稀疏性问题。

应用：

• 推荐系统：电影、音乐、电商商品推荐（如 Netflix、Amazon）。
• 个性化广告投放。

3. 因子分解机 (Factorization Machine, FM)

原理：

• FM 是一种扩展的线性模型，可以高效建模稀疏数据的二阶特征交互。

应用：

• 推荐系统：处理用户与物品的特征交互。
• CTR 预估：广告点击率预测。

4. 双塔模型 (Two-Tower Model)

原理：

• 双塔模型由两个子网络（塔）组成，分别对用户和物品的特征进行嵌入，然后通过计算相似度进行匹配。
• 常用相似度函数：点积或余弦相似度。

应用：

• 搜索与推荐：如用户与商品、问题与答案的匹配。
• 大规模召回：从海量候选集中快速找到相关候选项。

5. Transformer

原理：

• 基于注意力机制的深度学习模型，用自注意力（Self-Attention）代替传统的 RNN/CNN。
• 主要模块：
  • 多头注意力（Multi-Head Attention）
  • 前馈神经网络（Feed-Forward Network）
  • 残差连接和层归一化（Residual Connections + Layer Normalization）

[图片上传失败...(image-631236-1742465559613)]

应用：

• 自然语言处理（NLP）：机器翻译（如 Google Translate）、文本生成（如 GPT）、问答系统（如 BERT）。
• 计算机视觉：目标检测、图像生成（如 Vision Transformer, ViT）。
• 推荐系统：长序列行为建模。

6.卷积神经网络 (CNN)

定义：

CNN 是一种专门为处理数据的空间结构（如图像、视频）设计的深度学习模型，核心是通过卷积操作提取局部特征。

核心组件

1. 卷积层 (Convolutional Layer)：

• 利用卷积核（滤波器）对输入数据进行局部扫描，提取局部特征（如边缘、纹理）。
• 每个卷积核学习到不同的特征。

2. 池化层 (Pooling Layer)：

• 对卷积层的输出进行降维，减少计算量，保留重要特征。
• 常见方法：最大池化 (Max Pooling)、平均池化 (Average Pooling)。

3. 激活函数 (Activation Function)：

• 通常使用 ReLU（Rectified Linear Unit），引入非线性。

4. 全连接层 (Fully Connected Layer)：

• 将提取的特征映射到目标空间，用于最终的分类或回归。

特点

• 局部感受野：通过卷积核只关注数据的一小部分，减少参数量。
• 参数共享：卷积核的参数在整个输入中共享，提升效率。
• 强大的特征提取能力：特别适合处理图像、视频等结构化数据。

应用场景

• 图像分类（如手写数字识别）
• 目标检测（如自动驾驶中的行人检测）
• 图像分割（如医学影像分析）
• 视频处理（如动作识别）

7.循环神经网络 (RNN)

定义

RNN 是一种专门为处理序列数据（如时间序列、文本、语音）设计的神经网络，其特点是具有记忆能力，能够捕捉数据之间的时间依赖性。

核心组件

1. 循环单元 (Recurrent Unit)

• 每个时刻的输出依赖于当前输入和上一个时刻的隐藏状态 ht−1h_{t-1}ht−1。
• 状态公式： ht=f(W⋅ht−1+U⋅xt+b)h_t = f(W \cdot h_{t-1} + U \cdot x_t + b)ht=f(W⋅ht−1+U⋅xt+b) 其中，hth_tht 是当前时刻的隐藏状态，xtx_txt 是当前输入。

2. 权重共享：

• RNN 在所有时间步之间共享参数，便于处理长序列数据。
  缺陷与改进
• 梯度消失/爆炸：在长序列上，RNN 很难捕捉远距离依赖。
• 改进版本：
  • LSTM (Long Short-Term Memory)：
    • 引入了门机制（输入门、遗忘门、输出门），解决梯度消失问题。
  • GRU (Gated Recurrent Unit)：
    • 是 LSTM 的简化版本，计算效率更高。

特点

• 能够处理变长输入序列。
• 自然适合时间序列建模。

应用场景

• 自然语言处理（如情感分析、机器翻译）
• 语音识别（如语音到文本转换）
• 时间序列预测（如股票预测、天气预测）
• 视频分析（如动作识别）

三、分类

1. 按照学习方式分类：监督学习 vs 非监督学习

1. 监督学习

定义：

利用标注数据（输入和对应的标签）训练模型，目标是学习从输入到输出的映射。

应用：

• 分类：垃圾邮件检测、图像分类
• 回归：房价预测、股票价格预测

常见算法：

• 逻辑回归 (Logistic Regression)
• 支持向量机 (SVM)
• 决策树与随机森林
• 神经网络（如 MLP、Transformer）

2. 非监督学习

定义：

无需标注数据，模型在无监督的情况下发现数据中的模式或结构。

应用：

• 聚类：用户分群、图像分割
• 降维：数据可视化、特征提取

常见算法：

• K-Means 聚类
• 层次聚类 (Hierarchical Clustering)
• 主成分分析 (PCA)
• 自编码器 (Autoencoder)

2. 按任务目标分类：预测 vs 聚类

1. 预测（回归与分类）

定义：

• 预测数据的未来趋势（回归）或所属类别（分类）。

分类问题：

• 目标：预测离散值，如“是/否”、“类别 A/B/C”。
• 示例算法：逻辑回归、决策树、深度神经网络

回归问题：

• 目标：预测连续值，如温度、销量。
• 示例算法：线性回归、支持向量回归、随机森林回归

2. 聚类

定义：

• 将数据划分为若干组（簇），组内样本相似，组间样本不同。

目标：

• 揭示数据的隐藏结构，而无需事先知道类别。

常见算法：

• K-Means
• DBSCAN
• 高斯混合模型 (GMM)