2019 年，由于预训练模型 BERT 以及 GPT 2.0 的发展，深度迁移学习成为 AI 领域的热门词汇。准确地说，预训练模型是自然语言处理领域新的 baseline，如果要在完全不依赖 BERT 的基础上，提出一个与 BERT 效果相当或者更好的新模型，目前来看可能性非常低。
业界大部分 NLP 成果均是基于 BERT 的各种改进或者在对应业务场景上进行应用的，而且 BERT 的改进方向比较多，已经出现各种可用的变种 。目前XLNet、RoBERTa 等各种 BERT 的改进预训练模型，虽然是通过增加预训练的数据进一步提升效果，但除了增加数据，还做了许多模型方面的优化，这些突破都不是仅仅依靠堆数据就能带来的成果。
2020 年，深度迁移学习将基于预训练模型有更多改进，比如对性能要求较高的场景需要对模型做一些改进和方案上的优化，双向语言模型有可能出现训练和预测不一致的现象，以及在长文本处理、文本生成任务上的不足。
同样值得期待的是，该领域未来可能会出现更加轻量级的在线服务模型。拓展到自然语言处理领域，除了不断提升预训练模型的效果，未来如何更好地与领域的知识图谱融合，弥补预训练模型中知识的不足，也是新的技术突破方向。
图神经网络（GNN，Graph Neural Networks）是 2019 年 AI 领域最热门的话题之一。虽然深度学习目前已经在诸多领域拥有了显著的应用成果，但因果推理和可解释性仍是短板，这几年学术界和工业界都在探索新的方向。图神经网络是用于图结构数据的深度学习架构，将端到端学习与归纳推理相结合，业界普遍认为其有望解决深度学习无法处理的因果推理、可解释性等一系列瓶颈问题，是未来 3 到 5 年的值得关注的重点方向。
展望 2020 年，最可以确定的一点是：GNN 依然会保持如今快速发展的态势。从理论研究上看，不断解构 GNN 相关的原理、特色与不足，进而提出相应改进与拓展，是非常值得关注的部分，如动态图、时序图、异构图等。
另外一直以来研究 GNN 所用的标准数据集，如 Cora、PubMed，相对来说场景单一、异构性不足，难以对复杂的 GNN 模型进行准确评价。针对这一问题，近期斯坦福大学等开源的 OGB 标准数据集有望大大改善这个现状。在新的评价体系下，哪些工作能够脱颖而出？值得期待。
从应用上看，除了在视觉推理、点云学习、关系推理、科研、知识图谱、推荐、反欺诈等领域有广泛应用外，在其他诸如交通流量预测、医疗影像、组合优化等场景下，也出现了一些 GNN 相关工作。
在这其中，如何准确有效地将图数据与 GNN 二者有机结合到相关场景，是应用上需要着重考虑的。相信 2020 年，会出现更多这样的工作来拓展 GNN 的应用边界。此外，GNN 要真正在工业界大规模落地，底层系统架构方面仍需做大量工作。业界期待着一个更为开放、高性能，且支持超大规模分布式图网络计算的主流平台的出现。
作为认知智能领域核心技术之一，目前知识图谱已运用到语音助手、聊天机器人、智能问答等热门的人工智能应用场景中，并覆盖泛互联网、金融、政务、医疗等众多领域。
尽管发展火爆，但现在知识图谱在构建和落地过程中还面临着诸多挑战：首先对人工构建的依赖度还较高，仍然缺乏从大规模数据里获取的手段；其次知识图谱的构建技术成本很高。为解决上述问题，目前有很多公司都在做一些自动化构建知识图谱的探索工作，如明略科技开发了自动图谱构建工具，将一些中间构建过程自动化；腾讯正在基于聚类算法和强化学习结合的模式开发 schema 自动构建和根据反馈调整知识图谱的能力....
2019 年知识图谱构建技术已经从过去的完全人工编辑，进化到了场景化定制 NLP 知识抽取配合人工模板和审核的模式，正在经历人工构建 - 群体构建 - 自动构建这样的技术路线。自动化构建知识图谱的特点是面向互联网的大规模、开放、异构环境，利用机器学习技术和信息抽取技术自动获取互联网信息。
2020 年，我们可以预见的是：大规模知识图谱的自动化、高质量构建将成为重要的发展趋势。具体来看，知识图谱的 schema 自动构建和图表示推理将成为关注的重点；随着知识图谱在各个行业的深入落地，会有更多面向领域知识图谱的自动化构建方案涌现出来，比如智能医疗、智能金融等相关知识图谱及推理应用建设，随着 5G 的到来，5G 知识图谱的构建也值得我们期待。
2019 年，区块链技术迎来了两支“强心剂”，一支是以 Facebook Libra 为代表的稳定币技术，另一支是中共中央政治局集体学习区块链技术，国家最高领导人对区块链技术给予高度肯定。
在过去一年中，各大主要分布式账本技术（DLT）、各大公司的联盟技术团队都做出了不少改进，已经显著增加了相关方案解决实际问题的潜力。技术的相对成熟，让区块链能在未来的一年里结合企业业务得到落地发展。
区块链未来主要有两点值得关注：一是区块链之间的互操作性，2020 年我们很可能会看到更多区块链系统的相互融合，跨链技术也有望进一步突破；二是稳定币支付技术。支付是区块链的看家本领，稳定币避免了其他类型数字货币币值不稳、剧烈波动的弊端，从而使数字货币能够真正应用于日常支付等业务场景中。
同时，在 Facebook Libra 的影响下，各国央行数字货币之间的竞争加剧，尤其我国的央行数字货币已是“呼之欲出”，未来国际金融体系势必会发生大变革。全球各国政府都比较重视这块儿的发展，相信在未来会掀起稳定币的热潮。
文章参考用友研究院、用友开发者大赛和YonBuider开发中心资料
