How to read a research paper
- Choose Area of Interest (say Speech Recognition)
- In general, if you read 15-20 papers, you get a good understanding of any field/topic;
while if you read 50-100 papers, you get mastery in the area - Compile the list of papers/medium/blogs
- Quickly scan (say 10%) of all papers
- Skip a few papers, read a few of them and then decide which to read more
How to read one paper
- Don't start from the first page and finish at last one
- Read it in multiple passes
- Read the title, abstracts, figures, experiments
- Go through conclusion, Figures and skip the rest
- Read the rest but skip the math
- Read whole but skip the parts that don't make sense.
Try to answer while reading a paper
- What did the author try to accomplish here?
- Key elements of the approach?
- What can you use yourself?
- What other references do you want to follow?
How to find the papers
- ML Subreddit
- NIPS/ ICLR/ ICML
Understanding Math
- Rederive from scratch
Coding part
- Run opensource code
- Re-write from scratch
笔记
吴恩达通过本文讲述了如何阅读一个领域内的论文。
论文数量
吴恩达认为阅读了某领域的 15-20 偏论文,就能对这个领域有一个良好的了解。而在阅读了 50 - 100 篇论文以后,就能成为这个领域的大师。
这个数量不算多,吴恩达的这句话肯定有一些隐含条件,比如所读论文的题材(有多广泛),质量(不是划水文),阅读的深度(理解到了哪一层),这个就要我们自己去领悟了。但想要通过阅读论文达到吴恩达所说的“了解这个领域“甚至”成为大师“的效果,对自己的严格要求肯定是必须的。-
略读
诸葛亮在卧龙岗的时候,读书往往只“观其大略”,易中天称赞为“会读书”。吴恩达也认为读论文一上来就逐字逐句的苦干是不必须要的,论文也有需要精读和只需要略读的区分。
具体的方法是,列出来阅读清单;将清单上所有的论文快速过一遍,这一遍可能只需要读 10% 的样子,但足够让你明白这篇文章是否适合继续精读一遍;研读选后的文章。
可能有人会在第一步“列清单”的地方就开始卡住了。有人总结了经验是,搜索这个领域关键字相关的所有资源,不管是论文,还是代码或博客,甚至是油管的视频,只要能起到帮助就行,重要的是把这个清单建立起来。
还有一个技巧是绘制一个表格来跟踪记录对论文的理解程度,这个表格可能看起来像是这样:
精读
即使是精度论文,一口气把论文从头读到尾也不一定是最佳的方式。
首先阅读 标题,摘要,和实验 部分,仔细阅读文中的 结论,图表,剩余的部分可以先跳过。这是第一遍。
第二遍补充阅读第一遍跳过的部分,一些看不懂的数学和公示可以略过,知道结论就好。
第三遍将整个论文重新读一遍,仍然可以跳过一些无关紧要的部分。
个人理解吴恩达想要传递的一些思想,读论文的最终目标还是要”为我所用“,论文最大的价值在于它提出的新方法,得到的新成果,总结的新结论。而其中的具体细节,相比而言价值就没那么大。当我们想要使用论文的思想和方法时,我们可以自己尝试实现一遍,或者再回头来查看细节也是可以的。自问
带着疑问和目的读书会更有效果,问自己问题也能检阅自己的读书成果。
吴恩达提供了几个问题范式作为参考:
论文作者的目标是什么,在论文里实现了什么成果?
论文中使用的方法的关键要素是什么?
哪些东西是可以为我所用的?
论文中的哪些引用是你还想继续了解的?
第1点是我们做略读的目标,第 2 点是我们精读的目标,第3,4 点是我们读完论文的沉淀积累。只有通过第1,2 点,得到了第 3,4 点后,我们读的论文才算是有了自己的收获。