04-23 in context learning学习

起源

鉴于老师留了新的任务,必须要做这块,所以我准备系统的学习一下大模型相关的东西。
老师留任务是两周一次。必须优先完成老师的任务,在那之外才是搭建学习体系。

先分析一下我们老师留的任务,看看老师想让我们做什么。

第一次:大模型部署和调用,包括本地运行
第二次:大模型api调用,实现批量数据的测试,计算指标,给出错误分析。
第三次:加入in context learning 或者检索增强,尝试解决第二次的遗留问题。
第四次:复现in context learning 或者检索增强的论文,测试效果,找一些新的测试用例测试,对代码进行要点分析&论文创新点解读。

看起来老师好像是想让我们从技术角度,使用大模型为自己做一些事,但我的代码基础和理论基础实在......
我还是觉得我需要至少补完计算机的基础课,再来看论文。
就像没有数学基础,就看不懂西瓜书一样。

开始做老师留给我的作业

首先,搜集资料

我把搜集到的资料都分类放在这里,作为后续参考:

基础课学习:

面向开发者的 LLM 入门课程
动手学大模型RAG
动手学RAG -配套文档
llm-research
动手学大模型应用开发

关于RAG:

内容介绍:
一文读懂:大模型RAG(检索增强生成) - 知乎 (zhihu.com)

RAG综述:
最新RAG综述来了!北京大学发布AIGC的检索增强技术综述! - 知乎 (zhihu.com)

RAG有没有必要:
RAG与Long-Context之争—没必要争 - 知乎 (zhihu.com)
LLM无限上下文了,RAG(Retrieval Augmented Generation)还有意义吗? - 知乎 (zhihu.com)

应用:
LLM(廿一):从 RAG 到 Self-RAG —— LLM 的知识增强 - 知乎 (zhihu.com)
RAG - 知乎 (zhihu.com)
动手实现一个最小RAG——TinyRAG - 知乎 (zhihu.com)

关于in context learning

综述:
[2301.00234] A Survey on In-context Learning (arxiv.org)
上文作者维护的论文列表(好像已经不更新了):
GitHub - dqxiu/ICL_PaperList: Paper List for In-context Learning 🌷
解读:
[论文解读]北大综述In-context Learning学习分享 - 智源社区 (baai.ac.cn)

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容