-
激活函数
把线性函数激活,变成更强的非线性关系
image.png -
神经网络 隐藏层
image.png -
神经网络 前向传播
image.png -
损失函数 反应预测数据和真实数据的误差的函数
image.png -
均方误差
image.png -
目的 损失函数求导,导数等于0,求得w和b
image.png -
多元损失函数 偏导数
对w求偏导就是把b当常数,对b求偏导就是把w当常数
image.png
-
线性回归 通过线性函数拟合x和y的关系
image.png -
学习率 梯度 梯度下降
image.png -
链式法则 微积分复合函数求导
image.png -
训练 前向传播 反向传播
image.png -
过拟合 泛化能力
image.png -
鲁棒性 数据增强 旋转 加噪声
image.png -
正则化 惩罚项 抑制参数野蛮生长
image.png -
Dropout 丢弃部分参数
image.png -
卷积核
image.png -
卷积神经网络 CNN
image.png -
编码 词嵌入 词向量 训练出来的
image.png -
嵌入矩阵
image.png -
循环神经网络 RNN
image.png
Transformer
-
Attention 注意力机制
image.png
image.png 名词解释
Model模型: 使用套娃激活函数
Weight权重: 模型里面的参数
Large Model 大模型: Weight很大
Large Language Model 大语言模型LLM:用于自然语言处理的大模型
Training 训练: 调整参数的过程
Pretraining 预训练: 事先训练好一个基础模型的方式
Fine-tuning 微调: 基于预训练让模型学会具体的任务
Inference 推理:参数调整好后,根据函数的输入输出内容
Emergence 涌现:突然出现之前没有的能力
Fully Open-source Model 完全开源: Mistral
Open Weight Model 权重开源: deepseek
Private Deployment 私有化部署: 部署到本地
Token :最小粒度的词
Context 上下文: 对话时,所有给到大模型的信息
Prompt 提示词: 同上
RAG 检索增强生成: 和联网一样查资料
Knowledge Base /KB 知识库
Vector Database 向量数据库: 知识库的向量形势
Embedding 词嵌入: 把文字转为词向量
Vector Search 向量检索: 对比词向量的相似度,以在知识库找到问题的答案
PGC : 权威专家生成的内容
UGC : 普通用户创造的内容
AIGC : AI创造的内容
AGI : 通用人工智能
Multimodal 多模态:处理文本图片视频
Langchain :代码方式编排工作流
MCP Model Context Protocol :AI操作外部世界的标准
A2A : agent 互联协议
Model Compression 模型压缩: 让模型更小,减少成本
Quantization 量化:浮点数更低精度,减少显存计算
Distillation 蒸馏: 用参数较大的大模型指导参数较小的小模型
Pruning 剪枝 : 删除模型中不重要的神经元
LoRA : 用更低成本改善微调方式的方法
NLP 自然语言处理
CV 计算机视觉
闭源: Midjourney
开源: Stable Diffusion/ ComfyUI
语音
TTS 文本转语音
ASR 语音识别
视频生成
Sora
可灵
即梦
数字人应用
pytorch tensorflow : 深度学习框架
Hubgging face : AI开源平台
Ollama : 本地运行大模型工具
