模型架构相关术语
Transformer
基于自注意力机制的神经网络架构，是现代大语言模型的核心架构
Self-Attention（自注意力）
允许模型在处理序列时关注序列中的不同位置，计算每个位置与其他位置的相关性
Multi-Head Attention（多头注意力）
并行运行多个注意力机制，让模型能够同时关注不同类型的信息
Encoder-Decoder
编码器-解码器架构，编码器处理输入，解码器生成输出
训练相关术语
Pre-training（预训练）
在大规模无标注文本数据上进行的初始训练阶段
Fine-tuning（微调）
在特定任务数据上对预训练模型进行进一步训练
RLHF（Reinforcement Learning from Human Feedback）
基于人类反馈的强化学习，用于对齐模型输出与人类偏好
SFT（Supervised Fine-Tuning）
监督微调，使用标注数据对模型进行有监督训练
模型能力相关术语
Emergent Abilities（涌现能力）
当模型规模达到一定程度时突然出现的新能力
In-Context Learning（上下文学习）
模型通过输入中的示例学习新任务，无需参数更新
Few-Shot Learning
仅使用少量示例就能完成新任务的能力
Zero-Shot Learning
无需任何示例就能完成新任务的能力
提示工程术语
Prompt（提示）
输入给模型的文本指令或问题
Chain-of-Thought（思维链）
引导模型逐步推理的提示技术
Prompt Engineering（提示工程）
设计和优化提示以获得更好模型输出的技术
System Prompt（系统提示）
定义模型行为和角色的初始指令
技术参数术语
Parameters（参数）
模型中可学习的权重数量，通常用B（十亿）为单位
Context Length（上下文长度）
模型能够处理的最大输入序列长度
Temperature
控制生成文本随机性的参数，值越高输出越随机
Top-k/Top-p Sampling
文本生成时的采样策略，控制候选词的选择范围
安全与对齐术语
AI Alignment（AI对齐）
确保AI系统的行为符合人类价值观和意图
Hallucination（幻觉）
模型生成看似合理但实际错误或虚假的信息
Jailbreaking（越狱）
绕过模型安全限制的攻击技术
Red Teaming（红队测试）
通过对抗性测试发现模型安全漏洞的方法
音标
Transformer /ˈtrænsˌfɔːrmər/
Self-Attention（自注意力） /ˌsɛlf əˈtɛnʃən/
Multi-Head Attention（多头注意力） /ˈmʌlti hɛd əˈtɛnʃən/
Encoder-Decoder /ɪnˈkoʊdər dɪˈkoʊdər/
Pre-training（预训练） /ˌpriːˈtreɪnɪŋ/
Fine-tuning（微调） /ˌfaɪnˈtjuːnɪŋ/
RLHF（Reinforcement Learning from Human Feedback） /ˌɑːr ɛl eɪtʃ ˈɛf/
SFT（Supervised Fine-Tuning） /ˌɛs ɛf ˈtiː/
Emergent Abilities（涌现能力） /ɪˈmɜːrdʒənt əˈbɪlətiz/
In-Context Learning（上下文学习） /ɪn ˈkɑːntɛkst ˈlɜrnɪŋ/
Few-Shot Learning /ˌfjuː ʃɑːt ˈlɜrnɪŋ/
Zero-Shot Learning /ˈzɪroʊ ʃɑːt ˈlɜrnɪŋ/
Prompt（提示） /prɑːmpt/
Chain-of-Thought（思维链） /ˌtʃeɪn əv ˈθɔːt/
Prompt Engineering（提示工程） /prɑːmpt ˌɛndʒɪˈnɪrɪŋ/
System Prompt（系统提示） /ˈsɪstəm prɑːmpt/
Parameters（参数） /pəˈræmɪtərz/
Context Length（上下文长度） /ˈkɑːntɛkst lɛŋkθ/
Temperature /ˈtɛmpərətʃər/
Top-k/Top-p Sampling /tɑːp keɪ/ /tɑːp piː ˈsæmplɪŋ/
AI Alignment（AI对齐） /ˌeɪ aɪ əˈlaɪnmənt/
Hallucination（幻觉） /həˌluːsəˈneɪʃən/
Jailbreaking（越狱） /ˈdʒeɪlˌbreɪkɪŋ/
Red Teaming（红队测试） /rɛd ˈtimɪŋ/
