Abstract Qwen3 系列包括dense transformer和MoE架构的模型。Qwen3 的一项关键创新是将思维模式（用于复杂的多...

总结 和原生的transformer架构的decoder部分相比，deepseek架构有几点不同 layernorm替换为RMSnorm FFN...

Abstract 在大型语言模型时代，Mixture-of-Expert （MoE） 是一种很有前途的架构，用于在扩展模型参数时管理计算成本。然...

总结 Llama3的模型依旧是用的是传统的dense Transformer架构，与Llama2和Llama在架构上没有本质的区别，只是在训练数...

总结 InstructGPT 的训练方法就是ChatGPT的训练方法 Abstract 作者认为，语言模型越大本质上并不能让它更好地遵循人类的意...

总结 T5 是谷歌提出了一个统一预训练模型和框架，模型采用了谷歌最原始的 Encoder-Decoder Transformer结构。 T5将每...

总结 GPT3在模型架构上，主要是扩大了GPT2的参数；在论文创新内容上，提出了few-shot learning，GPT3能在少样本的提示上表...