P1
数学界的 “诺贝尔奖”——数学领域最高奖项之一的沃尔夫数学奖。
从管理研究生的角度来看,如果实验室开始以打卡作为衡量研究生科研投入的标准,就说明实验室的科研管理出现了问题。
阅读论文的量的累积是需要绝对时间的,做充分有力的实验也需要绝对时间,写能形成影响力的论文更需要绝对时间。
卖油翁能够自钱孔沥油而钱不湿的秘诀是“无它,惟手熟耳”。而俗语也有“熟读唐诗三百首,不会作诗也会吟 ”。
如果论文没读到一定的数量,研究生是很难对相关研究领域的热点、难点及创新点进行快速反应和判断的。所以,多读论文是逐渐提高时商的必要环节,这样才能把读论文的速度由最初的慢变成了解后的快。有些喜欢读论文的朋友曾建议过,可以考虑充分利用时间间隙。比如,你可以在手机上安装阅读论文的App,如在线论文发表网站arXiv手机端的软件,然后没事的时候就“刷”论文,走路时“刷”,上厕所时“刷”,利用各种可以想到的时间“刷”论文。
热点、难点及创新点
适当地锻炼身体,如跑步、游泳和打球。这既能帮助我们提高身体素质,又能提高大脑的反应速度和抗风险能力。
梦境学习:睡前闭上眼睛回顾自己这一天做过的相关研究,整理思路,然后暗示自己晚上能梦到相关的内容即可。
P2 读论文 以点带面
================
书单:
人工智能基础:
Duda等撰写的《模式分类》(Pattern Classification)
Bishop撰写的《模式识别与机器学习》(Pattern Recognition and Machine Learning)
由三位斯坦福大学统计系的著名教授(Trevor Hastie、Robert Tibshirani 和Jerome Friedman)合作撰写的《统计学习要素》(第二版)(The Elements of Statistical Learning,2nd )
机器学习专家南京大学周志华教授撰写的《机器学习》(因封面和样例常用西瓜,俗称“西瓜书”)
Ian Goodfellow与2019年图灵奖得主Yoshua Bengio等合写的《深度学习》(Deep Learning)
Devroye等写的《模式识别的概率理论》(A Probabilistic Theory of Pattern Recognition)
Nicolò Cesa-Bianchi等写的《预测,学习和博弈》(Prediction,Learning and Games)
Daphone Koller用她很有特色的数学表达写出来的上千页巨著《概率图模型》(Probabilistic Graphical Model)
数学:
数学大师陈省身与陈维桓合写的《微分几何讲义》[10],
J. R. 曼克勒斯写的《流形上的分析》(Analysis on Manifolds)[11],
陈维桓写的、多数人可能只能看懂目录的进阶版 《微分流形初步》[12]
斯坦福大学史提芬·博伊德教授写的《凸优化》(Convex Optimization)
===================
基础应该优先定位在对具体研究方向的前沿的把握上,而非对相对笼统的整个研究领域的宽泛了解上。
宜以点带面,而不要以面带点。
从会议、期刊找点: 从近期发表的、相关专业的学术期刊或会议论文着手。
NeurIPS(Neural Information Processing Systems,神经信息处理系统大会)
明确选题很关键。
引用次数多或新发表的,或相关方向国际上知名团队发表的论文更要多加关注。
摘要、代码快速扫盲
包括该领域同行在这一方向上已经达到的水平、在此方向上公用的评测手段,以及存在的不足。细读论文,还能知道同行在提出创新工作时,是如何针对现有不足提出改进方法的,又是如何行文来有理有据地支持其观点或方法的有效性的。
通过运行这些代码和调试代码中的参数,读者能很快了解文章方法的优势和不足。
综述、参考文献拓宽,形成倒金字塔
P3 想象力
2019年诺贝尔化学奖,以97岁高龄获奖的古迪纳夫颇有些传奇色彩,他54岁才转行研究锂电池。
低温下橡胶失去弹性。
费曼(也有译为费恩曼的)写的物理学讲义
如果5分钟内,有超过30%的回答不能使检验者分辨出回答问题的是人还是机器,那么就可以认为机器通过了“图灵测试”。
图灵 跑步
爱因斯坦 小提琴
想象力的重要来源:一是幼态持续,二是广泛的兴趣爱好。
爱好学习、对新鲜事物和知识有好奇心,都可以视为幼态持续的一种外在表现。
要想做好研究,最好能够保持一颗对世界永远好奇的童心。
P4 科研品质
是否一定要有优越的科研环境,才能获得好的创新成果呢?
科研工作者具有好的想象力,是科研创新的必要前提之一。
一如既往、废寝忘食地工作。
科学研究的失败率远高于成功率。如果失败了几次就放弃,说不定会把宝藏丢掉。
步态是唯一可以远距离识别的生物认证特征。但是,其性能容易受外在因素,如穿着、发型、背包甚至地形的影响。因此,尽管前景较好,但仍有大量问题需要解决。
耐心 恒心
个性鲜明
喜欢把话说到底,把事做到位,不会中途退缩。
唱High C也能增加多巴胺的分泌。当然,对多数人来说,通过跑步和其他运动来增加多巴胺更实际些。
P5
这是一种非常高明的学习方法,即不用问高手或让高手详解相关的经验,而是自己用大脑思考和眼睛观察来学会。从郭靖这些本事来看,江南七怪很可能是看走眼了,不是郭靖不聪明,而是导师们没有为郭靖找到有效的指导方案。
P6 寻师的五个维度
(1)论文;(2)项目;(3)学术活跃度;(4)指导学生情况;(5)个性拟合度。
拟求学的学院的相关主页,从主页上了解各位导师的情况。
更好的办法是根据导师的名字再搜索其个人或研究小组的主页。
通过谷歌学术、DBLP、百度等搜索导师的科研情况,尤其是发表论文的情况。然后,通过论文档次、数量、署名情况来综合判断导师的科研水平。
完全没必要认同这个鄙视链,它最多只能反映学者在研究方向某个维度上的偏好。
应该以自己的研究兴趣、能力为主导来选择导师。
导师的名字越靠前的,越有可能表明其仍然处在事业上升期。
通信作者就是论文的实际主导者,且反映出了论文成果的实际承担单位。
有些导师,更偏好严师出高徒的做法,没达到他心目中的水准之前,可能会一直给学生泼善意但显严厉的冷水。
P7
关于联系导师:
尽可能在一封信里言简意赅地把事情说清楚,比如自己的专业背景、年级排名、个人能力、相关的研究经历、兴趣爱好等。在信里附上一页纸的简历(加上本科成绩单)也是必需的。
面试导师一方面会从基础、综合能力、兴趣爱好、应变能力、心理素质等方面进行全面评估。
P8 关于报告PPT
逻辑性、故事性。
比如一个45分钟的关于人工智能新方法的介绍,我们不妨设计好提纲,给出能吸引人的背景介绍,指出潜在的应用方向,并综述现有工作的成果及其不足,哪些研究团体在做这些研究,再说明新方法解决了哪些不足,如何解决的,效果如何,新方法还存在哪些不足和值得改进的地方。
应该有自己的观点和见解。好的、不合理的、值得学习的、需要摈弃的,都可以分析讨论。学生们要充分利用讨论班和写“泡泡糖”的机会来锻炼自己,让自己逐渐具备这种辩证思维的能力,因为它有利于科技论文的写作。
一图胜过千言万语。
多用思维导图或箭头。
音视频相结合。
多讲实例。
能够在平时讲幻灯片的时候,把科普解读的能力锻炼出来
(1) 如果声音太小,听众无法听清报告的内容,报告的效果会大打折扣。当然,在某种意义上,声音的洪亮程度也反映了报告人对报告内容的自信和熟悉程度。(2)如果讲得没有激情,缺乏强弱之分,就不容易让听众明白报告的重点在哪里。(3) 讲报告的时候有节奏感,也是一个好的策略。结合强弱的变化,更容易吸引听众的注意力。(4)做报告时需要有一定的停顿,因为不是每个听众都对报告者的内容、专业领域非常熟悉,能够一看就明白。
P9 讨论班
讨论班: 培养学生质疑、处理错误、泛读文献、头脑风暴、学术争执等能力。
学生对新事物的好奇心和兴趣会被这种高强度的学习磨灭一些,因此,课堂提问的能力也会有所丧失。
报告人回答之前都会很礼貌地用类似“Good Question”(好问题)的话先鼓励一下。
在讨论班中除了让老生讲些小组研究方向的基础知识外,也可以安排老生主动在每次报告中,适当问些相对简单、基础的概念问题,即使老生是懂的,也可以有意识地去问。这样的话,一方面可以让新生意识到不懂就能问,慢慢能从一个缄默不言的学生变成爱问问题、爱找问题的研究生。另一方面也可以顺便普及研究小组涉及的基础,帮助学生优化时间,把不懂的知识点在讨论班中消化掉。而回答问题时,建议多用鼓励的话,如 “这问题不错”“你讲得很对”“值得思考” “好想法”作为开头,激励学生在讨论班多提问。
一件事也是值得在讨论班上做的,就是在黑板上推导公式,因为这样才能更彻底地了解论文中定理、定律证明的合理性和其中的道理。
在讨论班上鼓励研究生多多细推报告论文里的公式,既有利于上台推导的学生对问题的理解和提升临场反应能力,也能够帮助台下听的学生更好地看清论文的创新点和找出潜在的研究方向。
泛读可以一次读10篇。方式也简单,可以在中午组织泛读,学生进行快速阅读和报告,比如通过看论文的题目来判断其是否具有创新性,推测作者可能的研究思路。看论文摘要来了解其文章的动机和形成最简洁快速的现状分析,包括判断作者的创新点在哪里、改进效果如何,等等。基于这些点,再通过论文的版面结构和实验图表分析等来形成相对全面的分析和判断。组织泛读形式的讨论班,有助于帮助研究生们全方位了解一个领域的发展状况,并锻炼学生快速思考、解决问题的能力。
学生也应该培养自行管理和组织讨论班的习惯和能力。
P21
科研不仅需要有顶天的基础性研究,也需要有能落地、立地的应用基础性研究和成果转化。
以人工智能领域为例,目前多数性能好的创新和应用,都是基于深度学习。而深度学习又非常依赖于硬件GPU和大数据。显然,学校在这些方面不占优势。
模型的优化严重依赖于在GPU上对成批数据处理的能力,一两台服务器通常只能同时处理少量的批数据。而GPU越多,处理能力则越强,学生们有更充分的算力测试提出方法。
大数据的缺乏。
2018年因深度学习获得“图灵奖”的“深度学习三剑客”Yann LeCun、Geoffrey Hinton和Yoshua Bengio均来自学校,且在深度学习领域进行了近30年的坚持和探索。
科研院校的科研模式会有更高的概率形成好的成果和突破,并对若干年后的潜在应用提供持续的理论支持和算法保证。
企业更偏好稳定,一旦某个产品达到成熟,往往会把重心放在产品的维护和小修小改上。
2013年9月3日,微软花了72亿美元收购了已破产的诺基亚手机业务及其拥有的大量专利组合授权,其主要原因也就是看重了诺基亚的专利。
专利申请
但如果真希望做落地的应用,这一块应该引起足够重视。要申请一项专利,以发明专利为例,其申请流程大致如下。导师与学生按专利书的要求写好专利,并与如学校指定的专利代理公司交流和完善内容,确保申请书能将期望保护的权责覆盖完整,以及确保申请的专利不会因为存在过分夸大的描述而被驳回。达到要求提交后,往往一周左右能够获得专利的申请号。但要获得专利授权号和证书,则可能需要1~3年时间。
P23 冷门 VS 热门
做科研事业的评估,要有长远的眼光、世界的眼光、科学的眼光。”
那么要怎么做“冷门”研究呢?除了基本的科学素养,可能最需要的是信心,一颗能帮你耐得住寂寞的坚定信心。
一是统计学习理论的建立。这大概可以追溯到1963年。
1998年左右在一个人工智能最常用的美国邮政编码数据集(MNIST)上,它的学习能力一举超越了当时最好的神经网络的性能。
自1998——2012年,统计学习几乎主导了人工智能领域的新进展。
Hinton及其他神经网络的研究者在这一相对冷门的方向上已经坚持了近14年。如果算上从最初神经网络开始兴起的时间,那坚持的时间就更长,差不多有30年时间。
具体来说,背景理论要求太高,容易导致学生产生畏难情绪。
研究这类问题,不仅要数学基础好,还得有能将数学理论与实际问题建立起关联的直觉思维和抽象思维能力。
看不到“钱景”也有可能让研究生在选择方向时不偏好冷门。
而对于研究生来说,遇上冷门方向则需要沉下心,全方位了解该方向的优势和不足,多读文献,多做实验来寻找突破口。也需要做好心理准备,不要受周围做热门方向且不断有小成果的同学影响。当然,如果内心对这一冷门方向,有着强烈的兴趣和好奇心,那是最好不过的,因为这才是真正推动科技进步的原动力。
P26
关于控速这一点,兔子也不是一直都能做好,因为并非每个爱好者都是可训练的,不是每个人都听得进兔子的意见。碰到这种情况,往往兔子就成了摆设。如果爱好者天赋异禀,那还好,当兔子捡到了宝。但如果爱好者只是一个完全不清楚自己水平的人,那跑不完全程、提前退出或者跑得极慢达不到期望目标就成了必然。
示范、毅力和狂热。
生活本是如此,如果你觉得它是美的,到处都是美的,反之亦然。
P27
读研真的很难吗?导师解答6点困惑(作者 | 马臻(复旦大学环境系教授))
内卷: 无实质意义的消耗。
一是参考文献引用问题。这里有3种不同的问题:(1)论文的成果可能是其他论文中已经发表了的,但作者明明知道,却视而不见,继续发表自己的论文。(2)论文的成果是在其他论文的基础上做了很小的改进。但作者不引用原文,让评审和读者误以为其他论文的创新加作者的小改进都是作者的创新。也有引用了的,但在措辞上误导大家。比如明明是引入了一个方法,却偏偏说是自己提出的。(3)论文的成果是自己原有会议论文(扩充后)改投的期刊。但由于期刊通常要求30%甚至更多工作量的改进,作者扩充时实际上没达到,于是避而不谈原论文,尤其是原论文发表在某个不知名的会议上的时候。这些情况一旦被发现,显然会引起评审和读者的极度不满,将导致论文要么被拒,要么被撤稿。
写论文时,一定要用自己的语言来表达。
P28
科研是一个未知系数更大的、更挑战个人智力极限的游戏。
人生也是一场游戏。如果要给这个游戏加个预期,我希望它是一场不留遗憾的游戏。