NLP（大模型）高频面题超详细汇总，40W offer轻松拿捏！
一、大模型面试指南
重点面题精讲
【面题精讲 - RAG系统】
- 用户问题总是召回不准确，在用户理解阶段可以做哪些优化？
- 文档问答中，如何构建索引，提升对用户问题的泛化能力？
- 如何合并多路检索的结果，对它们做排序？
- BM25检索器总是召回无关的知识，最可能的原因是什么？
- 如何构建重排序模型的微调数据？
- More ......
【面题精讲 - 实体识别】
【面题精讲 - 文本分类】
【面题精讲 - 分布式训练】
- PS架构和Ring-AllReduce架构有何不同？
- 什么是张量并行，如何使用集群计算超大矩阵？
- ZeRO1、ZeRO2、ZeRO3分别做了哪些优化？
- 用DeepSpeed进行训练时主要配置哪些参数？
- More ......
【面题精讲 - 大模型微调】
- 如果想微调大模型本体参数，有哪些训练技巧？
- 什么是BitFit微调？
- 什么是LoRA微调？有哪些可配置的参数？
- 从零训练一个大模型有哪几个核心步骤？
- 如何将一个通用大模型训练成行业大模型？
- 如何准备SFT阶段的训练数据？
- More ......
【面题精讲 - 大模型架构】
- LLM架构对Transformer都有哪些优化？
- 什么是旋转位置编码（RoPE）？
- RoPE相对正弦位置编码有哪些优势？
- RoPE如何进行外推？
- LLM为何使用GQA代替MHA？
- PreNorm和PostNorm有何不同？
- 为何使用RMSNorm代替LayerNorm？
- LLM使用SwiGLU相对于ReLU有什么好处？
- More ......
【面题精讲 - Transformer】
- 自注意力层和全连接层有什么区别？
- 多头注意力相对于单头注意力有什么优势?
- Transformer中自注意力模块的计算过程？
- 什么是缩放点积注意力，为什么要除以根号d？
- BatchNorm和LayerNorm的区别？
- 解码器为什么要使用Mask？是如何实现的？
- More ......
【面题精讲 - LSTM】
- LSTM 如何缓解 RNN 梯度消失的问题?
- LSTM中记忆单元的作用是什么？
- LSTM有几个门，分别起什么作用？
- LSTM的前向计算如何进行加速？
- LSTM中的tanh和sigmoid分别用在什么地方？为什么？
- More ......
【面题精讲 - RNN】
- RNN的输入输出分别是什么？
- RNN是如何进行参数学习（反向传播）的？
- 用RNN训练语言模型时如何计算损失？
- RNN不能很好学习长期依赖的原因是什么？
- 怎么解决RNN的梯度爆炸问题？
- More ......
【面题精讲 - Word2Vec】
- 基于计数的表示方法存在哪些问题？
- CBOW 和 Skip-gram 哪个模型的词嵌入更好？
- Word2Vec的词向量存在哪些问题？
- 为什么说Word2vec的词向量是静态的？
- Word2Vec如何优化从中间层到输出层的计算？
- More ......
【面题精讲 - 分词】
高频面题汇总
NLP基础篇
- 【NLP 面试宝典 之 模型分类】 必须要会的高频面题
- 【NLP 面试宝典 之 神经网络】 必须要会的高频面题
- 【NLP 面试宝典 之 主动学习】 必须要会的高频面题
- 【NLP 面试宝典 之 超参数优化】 必须要会的高频面题
- 【NLP 面试宝典 之 正则化】 必须要会的高频面题
- 【NLP 面试宝典 之 过拟合】 必须要会的高频面题
- 【NLP 面试宝典 之 Dropout】 必须要会的高频面题
- 【NLP 面试宝典 之 早停法】 必须要会的高频面题
- 【NLP 面试宝典 之 标签平滑】 必须要会的高频面题
- 【NLP 面试宝典 之 Warm up 】 必须要会的高频面题
- 【NLP 面试宝典 之 置信学习】 必须要会的高频面题
- 【NLP 面试宝典 之 伪标签】 必须要会的高频面题
- 【NLP 面试宝典 之 类别不均衡问题】 必须要会的高频面题
- 【NLP 面试宝典 之 交叉验证】 必须要会的高频面题
- More ......
BERT 模型面
- 【NLP 面试宝典 之 BERT模型】 必须要会的高频面题
- 【NLP 面试宝典 之 BERT变体】 必须要会的高频面题
- 【NLP 面试宝典 之 BERT应用】 必须要会的高频面题
- More ......
LLMs 微调面
- 【NLP 面试宝典 之 LoRA微调】 必须要会的高频面题
- 【NLP 面试宝典 之 Prompt】 必须要会的高频面题
- 【NLP 面试宝典 之 提示学习微调】 必须要会的高频面题
- 【NLP 面试宝典 之 PEFT微调】 必须要会的高频面题
- More ......
</br>
二、项目实践
预训练模型
文本分类
- 【文本分类 理论（一）】如何使用DL做文本分类任务？
- 【文本分类 理论（二）】多标签分类和长文本分类如何做
- 【文本分类 理论（三）】层次化多标签文本分类如何做？
- 【文本分类 实战（一）】使用LSTM完成情感分析任务
- 【文本分类 实战（二）】基于检索的多层次文本分类
- 【文本分类 实战（三）】基于 Prompt 的小样本文本分类实践
LangChain
动手学 RAG
- 【RAG 项目实战 01】在 LangChain 中集成 Chainlit
- 【RAG 项目实战 02】Chainlit 持久化对话历史
- 【RAG 项目实战 03】优雅的管理环境变量
- 【RAG 项目实战 04】添加多轮对话能力
- More ......
</br>
三、算法理论
LLMs篇
- 【分布式训练 学习笔记（一）】 流水线并行
- 【分布式训练 学习笔记（二）】 DP和DDP
- 【分布式训练 学习笔记（三）】 零冗余优化（ZeRO）
- 【分布式训练 学习笔记（四）】 张量并行（TP）
- 【分布式训练 学习笔记（五）】 Megatron 源码解读（上）
- 【分布式训练 学习笔记（六）】 Megatron 源码解读（下）
- 【PEFT 学习笔记（一）】PEFT技术综述
- 【PEFT 学习笔记（二）】技术原理 - BitFit、Prefix Tuning、Prompt Tuning
- 【PEFT 学习笔记（三）】技术原理 - P-Tuning、P-Tuning v2
- 【PEFT 学习笔记（四）】技术原理 - Adapter Tuning及其变体
- 【LoRA 学习笔记（一）】LoRA 原理篇
- 【LoRA 学习笔记（二）】LoRA 源码篇
BERT篇
- 【BERT 学习笔记（一）】论文精读
- 【BERT 学习笔记（二）】源码解析 - 运行示例
- 【BERT 学习笔记（三）】源码解析 - 模型架构
- 【BERT 学习笔记（四）】源码解析 - 预训练
- 【BERT 学习笔记（五）】源码解析 - 模型微调
- More ......
Transformer
- 【Transformer 学习笔记（一）】论文精读
- 【Transformer 学习笔记（二）】核心机制 - 位置编码
- 【Transformer 学习笔记（三）】核心机制 - 自注意力机制
- 【Transformer 学习笔记（四）】核心机制 - 层归一化
- More ......
NLP 基础
- 【NLP 入门（一）】：自然语言处理概述
- 【NLP 入门（二）】：中文分词概述
- 【NLP 入门（三）】：词向量化概述
- 【NLP 入门（四）】：Seq2Seq 模型概述
- 【NLP 入门（五）】：Transformer 概述
</br>
四、面经分享
- 双非研究生斩获大厂offer（百度、阿里、顺丰）
- 六面！双非本科终斩腾讯NLP offer
- 超详细！腾讯NLP算法岗面经（已offer）
- 秋招算法面经集合 -- 华为、百度、腾讯、美团等
- 算法岗通关宝典 -- 社招一年经验，字节5轮、阿里7轮
- NLP面经集结 -- 达摩院、腾讯、微软、美团、百度
- NLP面试复盘 -- 阿里、腾讯、头条、paypal、快手
- More ......
</br>
五、大厂方案
阿里
- 阿里小蜜智能服务技术实践及场景探索
- 阿里云基于预训练模型、智能运维的QA生成算法落地
- 情感计算在淘宝UGC的应用
- AliceMind大规模预训练实践及AIGC在ModelScope中的应用
- More ......
百度
- 百度：大模型推动的人机交互对话
- 百度：基于异构互联知识图谱的多模内容创作技术
- 百度：如何从零样本做中文文本知识标注与挖掘？
- 百度：文档智能技术与应用
- 百度：文心开放域对话技术及其应用
- More ......
腾讯
美团
- 美团：对话理解技术及实践
- 美团：大众点评信息流基于文本生成的创意优化实践
- 美团：对话摘要技术在美团的探索（SIGIR）
- 美团：基于知识图谱的问答在美团智能交互场景中的应用和演进
- 美团：美团搜索中查询改写技术实践
- 美团：美团智能客服核心技术与实践
- 美团：事件图谱在美团智能客服问答中的应用
- 美团：小样本学习+自训练实战
- More ......
小米
其他
本文由mdnice多平台发布
