上周摘要：进化计算 (Evolutionary Computing) - 人工智能的下一个关键；威斯康星州的自动化，越来越易于获取；如果技术奇点并不是那么可怕，那我们目前做的这些AI风险防范，还有意义吗；微软，从移动到AI；词向量家族新成员，背景矢量CoVes；Facebook 翻译后端，基于神经网络获得更好的结果；利用AI防范盗窃 - 研究人员设计系统来预测哪些零售人员会从雇主身上进行偷窃；利用简单的网络进行近最先进水准的分类；Pytorch 2.0升级。
进化计算 (Evolutionary Computing) - 人工智能的下一个关键：
...进化计算有点像核聚变动能技术 - 专家们会一直告诉我们，如果给这个技术几十年时间来发展的话，那么它就会改变世界。虽然进化计算，到目前为止还没有什么大的成果。
...但这并不意味着专家说的是错的 - 我们可以预料到的是，进化计算中的各种方法将会产生巨大的影响。只是这些方法的效用，将与它们可使用的计算机数量密切相关。因为进化计算方法的计算效率, 是比不上那些对世界进行了更多假设的系统的。 （实际上，这方面已经很清楚了，例如，OpenAI的进化策略研究表明，可以用进化计算来粗略地模拟DQN (强化学习) 在Atari 游戏上的表现- 它要花费大概十倍多的计算量（但是由于可以进行任意程度的并行化运算，这并没什么，只要你有钱付电费就行。）
...在这篇文章中，研究人员概述了进化计算方法，相比深度学习，有哪些优势。敲黑板：进化计算擅长得出先前从来没有过的全新的东西，进化计算算法本质上是分布式的，一些算法可以一次性优化多个目标，等等。
...阅读更多关于的进化计算论述：Evolutionary Computation: the next major transition inartificial intelligence?
...希望能看到，讨论更多关于计算量权衡的问题。鉴于目前人们正在使用日趋复杂，高保真，数据丰富的仿真（MuJoCo / Roboschool / DeepMind Lab / 许多视频游戏 / 基于Unity的无人机模拟器等），人们似乎将在一段时间内对计算效率给予高度关注。 而进化计算方法似乎更适合于数据稀少的环境，或者是那些可以使用大量计算机来计算的土豪们。
威斯康星州的机器人与自动化：
... 关于威斯康星州一个部署机器人 (目前还只有两台，之后还会更多) 的工厂的长篇报道，来自 Hirebotics - 'collaborative robots to rent' 。这样做提高了可靠性，还可能节省成本。这个故事的主要告诉了我们，过去寻求解决劳动力短缺的工厂，要么搁置其扩张计划，要么提高工资招更多人。现在他们有了第三个选择：自动化。随着安装工业机器人价格的下降，你可以做到进一步的自动化。
... 更多: 华盛顿日报
为什么要做AI风险防范？如不存在一个硬起飞技术奇点的话，那就可能没有任何意义：
技术奇点： 认为随着技术发展特别是AI技术的发展，在未来某个时间点，技术发展会在很短时间内发生极大，而接近无限的进步。当这个转折点来临时，就得社会模式不复存在，新的规则主宰世界。而后人类时代的智能和技术是我们无法理解的，就像金鱼无法理解人一样。
...这是Em Age的作者Robin Hanson所提出的。 Hanson说，现在可以看到，人们开始AI风险研究唯一合理的原因是，为了避免了一个硬起飞场景（即FOOM，系统进行爆炸式的自我进化), 也就是说，一个团队，开发了一个能够自我进化的AI系统，对于某项任务的能力，它将比世界上剩余此类系统的总和都要强。
... Hanson说，FOOM方案的一个站不住脚的地方是，它需要一个组织设计一个AI，对于地球上其他所有人来说压倒性的优势。 “请注意，由于这种局部的快速发展，而去相信最终的机器将非常聪明，甚至比人类更聪明，是不行的。我们也没有道理，去相信智能机器的世界比今天增长和创新得更快。另外还要提的是，通过提高内部自我提升能力，最初很小的一个AI团队的能力，可能会快速地超过世界其他地方，包括其他类似的团队。“
...如果这些所谓的FOOM方案是很有可能的话，那么目前关键点事，为与AI风险相关的事物，开发出一个广阔而又深入的全球技能库。如果这些FOOM方案不太可能的话，那么世界现有的流程 - 法律制度，国家，竞争性市场 - 可能会自然而然地处理掉这些人工智能安全问题。
... 更多：'Foom justifies AI risk effortsnow'.
... 如果其中一些想法让你脑袋转不过来的话，那么可以试试读读这本730页的电子书，收录了Hanson和MIRI的Eliezer Yudkowsky之间在各种辩论。
微软改变了其重心：从移动端到AI
... Microsoft Form 10K 2017：愿景：“我们的战略是，为智能云以及融入了AI的智能边缘，创建一流的平台和生产力服务。
... Microsoft Form 10K 2016：愿景：“我们的战略是，为一个移动优先和云优先的世界，打造一流的平台和生产力服务。
词表达再利用，由 ImageNet 来的启发...
... Salesforce的AI研究机构，发现了一种相对简单的方法来提高用于文本分类的神经网络的性能：首先，获取在某项任务（如机器翻译）训练期间生成的隐藏矢量，然后将这些背景矢量 (Context Vector) CoVes 馈送到另一个为其他自然语言处理任务而设计的网络去。
...这个想法是，这些向量可能包含有语言的有用信息，新的网络可以在训练过程中，使用这些向量来提高对某些任务的直觉性回答。
...结果：虽然这可能只是一个“加点水”的技术 - 但在各种不同任务与数据集的神经网络的测试中，在使用GloVe和CoVe输入组合后，显示出2.5％和16％ (!) 之间的改善。进一步实验表明，通过在输入添加字符向量，某些任务可以进一步性能提升。但不足的是，这种系统的总体流程似乎相当复杂，因此具体实现会很有挑战性。
... Salesforce在说明如何产生CoVe输入的博文中，发布了其表现最好的机器翻译LSTM系统代码。GitHub上获取代码。
Facebook将其ENTIRE翻译后端，从基于短语的转换为了基于神经网络的翻译：
... Facebook已将其整个翻译基础设施移向了神经网络后端。它能处理2000多个不同的翻译方向（比如德语到英语是一个方向，英语到德语将是另一个），每天大概处理45亿个不同的翻译。
... 组件：Facebook使用了序列到序列的LSTM网络。该系统在Caffe2中实现，Caffe2是由Facebook部分参与开发的AI框架（与Google TensorFlow，Microsoft CNTK，Amazon MXNet等进行竞争）。
...结果：部署此系统后，Facebook的BLEU (一种机器翻译的自我评估的方法) 评分上升了11％
... 在code.facebook.com阅读更多
利用AI防范盗窃 - 研究人员设计系统来预测哪些零售人员会进行偷窃：
...怀俄明大学的研究表明，如何将AI用于分析与零售人员相关的数据的话，这有助于雇主预测哪些人最有可能进行偷窃。
...数据：为了进行研究，研究人员获得了一个数据集，其中包含了大量的主要零售流程中收银员活动的30维特征图。这些特征包括收银员和商店识别号以及,其他未指定的数据点。总体而言，研究人员收到了超过1,000个离散批次的数据，每批可能包含多个收银员的信息。
...研究人员使用三种不同的技术分类数据：主成分分析（PCA），t分布随机相邻嵌入（t-SNE）和自组织特征图（SOFM）。 （PCA和t-SNE是目前已发展很完善的降维技术，而SOFM还有点模糊，它使用神经网络来实现能与t-SNE相比的可视化，并提供对可视化的检查。）
...每个分类过程都是以无监督的方式进行的，因为研究人员缺乏完全标注了的数据。
...其他数据特征包括：优惠券占总交易的百分比，总销售额，退款数量的计数以及收银员与特定信用卡互动次数的计数等。
...研究人员最终发现SOFM能够捕捉到更难以描述的特征信息，并且更容易可视化。下一步是采取正确标记了的数据，以提供更好的预测功能。之后，我预计我们会看到其在商铺中的初步试验，雇主会进一步压制低收入雇员欺骗雇主的能力。
客观来说，减少盗窃是好的，但它也说明了AI可以如何为雇主提供一个前所未有的监督和控制能力 (1984?)。这不由提起了一个问题，一个能够接受少许盗窃，并更轻松一些的工作环境是更好一些，还是更差呢？
...阅读更多： Assessing Retail Employee Risk Through UnsupervisedLearning Techniques
PyTorch 升级2.0：
... Facebook发布了2.0版的PyTorch，其功能丰富。 最有趣的是分布式PyTorch，它可以让张量分布到多台机器。
...在GitHub的发行说明中阅读更多内容。
... (于是1的document都还没读完，捂脸)
保持傻白甜！使用简单网络进行接近最先进水准的分类：
...随着人工智能在应用方面的发展，开发人员越来越试图为神经网络系统减肥了，以便能够在个人手机上就能运行，而且不用大量占用计算资源。这种趋势促使Google研究人员考虑，如何在不使用（计算上昂贵的）LSTM或深层RNN方法这些流行方法基础上，来处理一整套语言任务 - 词性标注，语言识别，分词，统计机器翻译的前处理。
...结果：他们的方法在一系列任务中获得了很好的SOTA成绩，同时具有最多占用在3 Mb，通常在几百kb的内存占用优势。
...那么意味着什么呢？ “虽然在条件允许情况下，大型和深层次的模型可能是最准确的。但是简单的前馈网络，可以在运行时间和内存方面提供更大的优势，我们应该以其作为一个基准。”
...阅读更多：Natural Language Processing withSmall Feed Forward Networks.
...其他方面，除了Google已经开始实现它在论文中所讲的外。一个倾向于对AI的未来做出一些很大的宣传的AI未来主义者 Ray Kurzweil （有良好的记录 :joy:），正在领导着一个团队，该公司的任务是，基于Ray自己关于大脑工作原理的理论，搭建出更好的语言模型。迄今为止，他们已经开发出了一个更加具有计算效率的类似 Smart Reply 的服务。Smart Reply 是Google构建的一个会自动生成，并建议对电子邮件回复的服务。在连线杂志中阅读更多。
