起源
鉴于老师留了新的任务,必须要做这块,所以我准备系统的学习一下大模型相关的东西。
老师留任务是两周一次。必须优先完成老师的任务,在那之外才是搭建学习体系。
先分析一下我们老师留的任务,看看老师想让我们做什么。
第一次:大模型部署和调用,包括本地运行
第二次:大模型api调用,实现批量数据的测试,计算指标,给出错误分析。
第三次:加入in context learning 或者检索增强,尝试解决第二次的遗留问题。
第四次:复现in context learning 或者检索增强的论文,测试效果,找一些新的测试用例测试,对代码进行要点分析&论文创新点解读。
看起来老师好像是想让我们从技术角度,使用大模型为自己做一些事,但我的代码基础和理论基础实在......
我还是觉得我需要至少补完计算机的基础课,再来看论文。
就像没有数学基础,就看不懂西瓜书一样。
开始做老师留给我的作业
首先,搜集资料
我把搜集到的资料都分类放在这里,作为后续参考:
基础课学习:
面向开发者的 LLM 入门课程
动手学大模型RAG
动手学RAG -配套文档
llm-research
动手学大模型应用开发
关于RAG:
内容介绍:
一文读懂:大模型RAG(检索增强生成) - 知乎 (zhihu.com)
RAG综述:
最新RAG综述来了!北京大学发布AIGC的检索增强技术综述! - 知乎 (zhihu.com)
RAG有没有必要:
RAG与Long-Context之争—没必要争 - 知乎 (zhihu.com)
LLM无限上下文了,RAG(Retrieval Augmented Generation)还有意义吗? - 知乎 (zhihu.com)
应用:
LLM(廿一):从 RAG 到 Self-RAG —— LLM 的知识增强 - 知乎 (zhihu.com)
RAG - 知乎 (zhihu.com)
动手实现一个最小RAG——TinyRAG - 知乎 (zhihu.com)
关于in context learning
综述:
[2301.00234] A Survey on In-context Learning (arxiv.org)
上文作者维护的论文列表(好像已经不更新了):
GitHub - dqxiu/ICL_PaperList: Paper List for In-context Learning 🌷
解读:
[论文解读]北大综述In-context Learning学习分享 - 智源社区 (baai.ac.cn)