1. 培养人才的目标/人才应有的素质

能“听话”、有悟性、能坚持、能“跳出来”，培养能独立解决问题的人

• 所谓“听话”，不是对老师”逆来顺受”，被动服从，而是辨得出有益的建议，听得进正确的意见，尤其在“冷启动”阶段，可以少走不少弯路，毕竟，老师踩过、见过的坑才是很宝贵的财富；

• 悟性，不完全等同于智力，是化繁为简、举一反三的能力，可以通过针对性的思考来锻炼、强化，不过前提是要有足够宽广的视野；

• 坚持，相当重要，研究生阶段时间不长，能坚持，再小的点也能做深、做精；不坚持，再聪明也难成大事；

• 能“跳出来”，是更高层次的要求，能钻进去固然好，能“跳出来”才能客观、全面思考，才能找到”全局最优“。多交和自己不同的朋友。

• 我们培养人才的目标说来简单：独立思考、独当一面的问题解决者

2. 如何看大量人涌入机器学习领域

好事，前提是有持续的好奇心

• 这儿的好奇，是在一定了解的基础上源源不断的激情。不好奇，就缺少内在的驱动力，很难真正融入到相关的研究中，也很难做到举一反三。

3. 如何看待高校学术大牛进入工业界？

短期看，师资或有所流失；长远看，对高校未必是坏事

• ”学而优则业“，折射出高校科研体制不完善、业界高收入诱惑、学界缺少数据场景、个人规划和高校环境矛盾等问题，有一定的必然性，挡恐怕挡不住，不如化堵为疏，长远规划。
• 长远看，一方面学校有更多机会和企业建立多层面合作，关系也更为融洽，一定程度上促进”产学研用“；另一方面，很多人最后会回流高校，带着他们在企业积累的实际经验和对行业的洞见，丰富和完善高校的教学内容，培养更”接地气“的实用人才。如此看来，未尝不是件好事。

4. 深度学习让计算机视觉的门槛降低了吗？

应用角度降低了，研究角度提高了

• 从应用角度，深度学习(表示学习)有效代替了特征工程的大部分工作，你不必了解视觉特征，不必掌握SIFT，不必知道Hough变换，就可以完成图像的检测、分割和分类，确实降低了视觉计算的门槛；
• 从研究角度，深度学习把大家原先对图像本征表示的关注，转移到网络结构的设计上，把所有人放在了(几乎)同一个高功耗、高计算复杂度的起点上，很多论文也陷入了”小修改，看结果“的套路，对图像本身的观察和思考见少，罕有让人拍案的巧思，脱颖而出的难度反而提高了；

某种意义上，深度学习让不少同学变“懒”、变“笨”了，他们不再花时间认真观察和思考面对的问题，太多时间花在“跑模型时心安理得的各种荒废”上，这个倾向很不好，有必要敲响警钟。

5. 什么样的问题深度学习能解决，什么不能？/深度学习的不足是什么

参见深度学习的局限性

• 到目前为止，深度学习的唯一真正的成功是使用连续几何变换将空间 X 映射到空间 Y 的能力，但还要给出了大量的人为注释的数据。用术语来说：多层可参数化的可微分的非线性模块所组成的模型，可以用 BP 算法来训练。
• 深度学习取得成功的三大原因
  • 逐层的处理
  • 有特征的内部变化
  • 有足够的模型复杂度

Deep learning, a subfield of machine learning that uses "deep neural networks," has achieved state-of-the-art results in fields such as image and text recognition. --- SIAM NEWS

• 推理和抽象上，还有很长的路要走。
• 调参费事，不同任务之间的调参经验不能借鉴；可重复性差；模型复杂度需要事先指定，但是又不知道如何设定；理论分析困难，黑箱；需要大量训练数据。
• 神经网络获胜的往往就是在图像、视频、声音这几类典型任务上，而在其它涉及到混合建模、离散建模、符号建模的任务上，其实神经网络的性能比其它模型还要差一些。
• 微软亚洲研究院：图像识别的未来
  挑战：如何提高模型的泛化能力；如何利用小规模数据和超大规模数据；全面的场景理解（语义/实例/全景分割）；自动化网络设计；

目前的算法并不能很好地利用这种超大规模数据 。在包含了3亿张标注图片的JFT数据集上，各种深度网络的性能随着训练数据量的增加，仅仅呈现出对数级的提高（图一）。Radiology 11月有篇识别胸片的paper也是类似的结论，使用2W和20W数据训练出来的模型没大的差别。

方向：整合常识；几何推理；关系建模；学习如何学习（元学习）；

6. 研究成果和产业实际应用的巨大差距在哪里？

研究与应用的差距主要在工程性和实际问题的针对性

• 研究更关注问题本身，问题找对了，研究就成功了一半，对问题的本质参透了，就已胜利在望，不论结果如何，深度到了，就是成功；
• 应用更关注结果的实用性，针对有实际需求的问题，找到可行好用的解决方案，还要对成本、效果、性能综合权衡，这也是很多新算法在工程里难以迅速推广应用的主要原因。

我们提倡研究人员要有“应用思维”，在实际场景实际需求里找到值得研究的问题；工程人员要有“学术思维”，尽可能抓住问题的本质，在深入研究的基础上深度优化解决方案。

7. 大算力时代高校如何突破

• 认清自身定位，比拼大算力工程优化恐难有胜算，不如转而研究更有理论价值的基础问题，为新方法和框架探索背后的理论依据和可解释性；聚焦和挖掘实际场景里“小数据”问题，结合特征工程、传统机器学习方法和深度学习思想寻求对问题的深入理解；另外，可以着力构建“重用”性更好的科研体系，通过预训练模型共享，应用迁移学习、强化学习等技术，最大限度减少重复训练，通过重用节省算力资源，提高实验效率。
• we need a clear causal explanation for why one algorithm behaves differently from another.
  ——转自陈老师微博（爱可可-爱生活）

8. 如何学习

课堂知识应用到工程界的本质：学校里面学的都是单点孤立的知识，但不清楚在一个特定的应用问题中，每个孤立的知识起什么作用。只会单点知识，往往干的是螺丝钉的活。
面对一个书本上没有见过的问题，利用所学的知识找到新的解决方案。工程实践中要求的是能够把所学知识综合起来，并解决未知问题的能力。

个人成长路径：从学术环境中得到系统的学科知识；从产业环境得到系统应用的逻辑以及相应的技术需求。学习的过程中把一些共通的东西串起来。比如卷积：一维，二维，多维。找到不同孤立知识点之间的联系。
理解知识真正的逻辑；理解产业的需求。学以致考→学以致用→用以致学，在实际中发现自己需要但是还没掌握某些知识，再来学习会更有目的性，更有效率。通过解决问题来学习，形成知识的网状结构。

深度学习框架的本质：管理数据流与控制流。
为什么tf有个延迟计算的机制？符号执行！！！为什么这样计算会更适合DL？先对计算图进行优化后在进行计算，能大大加快计算。

AI研究院的价值。大部分研究院其实都**，包装上的需求，拉投资、政府支持。吸引人才的一种方案，听着更高大上一些。大部分企业的研究院实际上还是针对具体问题做落地的产品（包装了的研发部门）。“好的工程师==半个产品”！

以上内容来自人工智能前沿与产业趋势——第十四讲：工程实践与人才成长路径（王咏刚）

如何判断一个AI产品是否值得投资？

• 创新工厂：逻辑派；多元考察，理解整个应用逻辑。团队逻辑，技术+商务+产品。
  AI技术的门槛提升了，因为对数学的要求更高，不是以前那样上个学习班突击一下就能上手了。但条条大路通罗马，AI公司还需要人事、财务等等非AI的人员，通过这些渠道进入AI行业也是不错的选择。

找工作

• 大公司vs创业型公司
  两条不同的路：大公司会要求/学到顶尖的细分的专业知识；创业型公司会要求/学到很广阔的综合知识；

企业案例

• Rethink Robotics的回忆与启示-张萌知乎
  任何机器人产品首先必须是合格的、能做事的机器人，然后增加的亮点才有意义。只有亮点不能完成任务的机器人是没有用的。换句话说，满足需求之后噱头才能加分。
  从一开始就为了达到某个极低成本目标而设计的产品，往往在连串妥协之后无法控制住成本，同时在其他方面（如性能）引入更多的妥协。
  贸然采用大量自主设计的、未经验证的核心元器件，对研发过程带来的风险远大于收益。
  够用的传感器（数量、种类）就是最好的，堆积很多没用意义。
  一个实业企业应该先做出有用的产品，再把它做得更好，而不是反过来。Rethink的核心问题是没能将其产品与其他产品的不同转化成使用者能够实际感受到的益处。