发简信
IP属地：上海
-
Llama3技术报告精读--(1)总结 Llama3的模型依旧是用的是传统的dense Transformer架构，与Llama2和Llama在架构上没有本质的区别，只是在训练数...
-
InstructGPT论文精读--Training language models to follow instructions with human feedback总结 InstructGPT 的训练方法就是ChatGPT的训练方法 Abstract 作者认为，语言模型越大本质上并不能让它更好地遵循人类的意...
-
T5模型论文精读总结 T5 是谷歌提出了一个统一预训练模型和框架，模型采用了谷歌最原始的 Encoder-Decoder Transformer结构。 T5将每...
-
GPT3论文精读总结 GPT3在模型架构上，主要是扩大了GPT2的参数；在论文创新内容上，提出了few-shot learning，GPT3能在少样本的提示上表...
-
NLP的tokenizer---分词器
tokenizer作为NLP领域不可缺少的一部分，对于模型的训练时间和效果有着重要的影响，如果分词器的粒度太细，词表会很小，但是能代表的实际含义...
-
GPT2论文精读----Language Models are Unsupervised Multitask Learners总结： 论文：gpt2不需要fine-tuning阶段，探索多任务学习，即gpt2在zero-shot learning的效果。 模型结构：在g...
-
hive sql优化
调优经验 尽量限制更少的分区 制定列，不要使用select * 业务层面，指标是否可以从汇总层取 where条件尽量去掉无关行 查询优化 对作业...
-
模型下载方法
1 通过huggingface 进行下载 1.1 通过python transformers包进行下载-- 需要科学上网 1.2 hugging...
-
GPT1论文精读Abstract 自然语言理解包括各种不同的下游任务。尽管大型未标记的文本语料库很丰富，但用于学习这些特定任务的标号数据很少，这使得训练分辨（判...