构建客户端 具体代码见githubgithub中使用的是DeepSeek API调用 同时也可以调用本地模型进行对话如通过ollama 或者vllm 首先启动vllm服务2....
发简信
IP属地：上海
-
-
DeepSeek-V3技术报告总结 和原生的transformer架构的decoder部分相比，deepseek架构有几点不同 layernorm替换为RMSnorm FFN替换为DeepSeekMoE ...
-
DeepSeekMoE论文精读Abstract 在大型语言模型时代，Mixture-of-Expert （MoE） 是一种很有前途的架构，用于在扩展模型参数时管理计算成本。然而，像GShard这样传统Mo...
-
Llama3技术报告精读--(1)总结 Llama3的模型依旧是用的是传统的dense Transformer架构，与Llama2和Llama在架构上没有本质的区别，只是在训练数据量和参数规模上有了很大的提升...
-
InstructGPT论文精读--Training language models to follow instructions with human feedback总结 InstructGPT 的训练方法就是ChatGPT的训练方法 Abstract 作者认为，语言模型越大本质上并不能让它更好地遵循人类的意图，它可能会生成一些不真实的、...
-
-
-
NLP的tokenizer---分词器
tokenizer作为NLP领域不可缺少的一部分，对于模型的训练时间和效果有着重要的影响，如果分词器的粒度太细，词表会很小，但是能代表的实际含义也会很少；如果粒度较粗，整个词...
-
GPT2论文精读----Language Models are Unsupervised Multitask Learners总结： 论文：gpt2不需要fine-tuning阶段，探索多任务学习，即gpt2在zero-shot learning的效果。 模型结构：在gpt1的基础上，将layern...
-
hive sql优化
调优经验 尽量限制更少的分区 制定列，不要使用select * 业务层面，指标是否可以从汇总层取 where条件尽量去掉无关行 查询优化 对作业进行合理拆分 使用合适的数据类...
-
-
-
模型参数的大小的计算方式拿BERT为例L= 12， H = 768 embedding = 30000 * H transformer块：包括自注意力机制和MLP2.1 QKV 3个权重矩阵 + ...
-
第一段就写错了，Sinusoidal Positional Encoding有外推的能力， learned才没有
位置编码（Positional Encoding）
在大语言模型（LLM）中，位置编码（Positional Encoding）是用于表示输入序列中词汇或标记相对位置的技术。由于Transformer架构本身并没有内建顺序信息...
-
llms-from-scratch--attention mechanism 详解代码计算1.1 长序列建模的问题 由于源语和目的语语法结构的差异，逐字翻译文本是不可行的 在引入transformer之前，encoder-decoder 的RNN模型通常用于机器翻...
-
什么是generative AI -- 李宏毅生成式人工智能：机器产生复杂有结构的物件。 模型： 是带有大量未知参数的函数机器学习的学习，就是找到这个大量未知参数的过程，也叫training 。 当你把这个大量未知参数的...
-
Transformer论文精读1 Introduction 目前最新的方法是RNN，包括LSTM、GRU等等，主要是语言模型和encoder-decoder两类。 RNN的特点是：给定一个序列，从左往右一...
-
batchnorm 和 layer norm的区别
BatchNorm一般用于CV领域，而LayerNorm一般用于NLP领域。 batchnorm 是对一个batch，所有样本的某一个特征进行标准化，就是做成均值是0，方差是...