一、什么是Magi

Magi是一款基于知识图谱和自然语言理解技术的智能AI搜索引擎。

在用户体验上，它比“经典搜索引擎”多做的事情是给出答案，而非列举链接。

尽管拥有一个搜索引擎的表皮，它为网友们提供了互联网数据交互的新方式。

Peak Labs 也在一份 Magi 的官方说明中写到：“知识提取的重要性远高于单纯地回答问题，主动发现潜在知识并持续提炼修正，显著强于被动地根据输入的问题去匹配结果。”

二、Magi的自学习

而且，magi .com 还有一个自学习的过程，当用户停留在首页超过 5 秒，你就能看到 magi.com 正在从哪个信源中又学习到了哪个知识点。

据介绍，这种学习过程是在无人干预的情况下 7 x 24 小时不间断运行的，实时新闻事件中的知识一般只需要 5 分钟就会被掌握。随着可交叉验证的信息源不断增加，先前学习到的知识的可信度会被重新评估，使结果中的错误被自动纠正。

我们利用 magi.com 通过互联网进行远程监督，积累出一个巨大的有标注数据集并持续自动优化 Magi 的开放信息提取模型，进而通过迁移学习为各行各业降低应用 NLP 的门槛

三、Magi面临的技术挑战

而要实现这样的效果，摆在整个 Magi 项目面前的是以下 6 个重要技术挑战：

1、从纯文本自动构建可信的全领域知识图谱。此前业内主要依赖于人工编辑的各类数据库或百科等结构化或半结构化数据源进行整理，以构建可信的知识图谱；

2、构造大规模的带标注的跨领域数据集。类似于打造 NLP 领域的“ImageNet”，目前整个 NLP 领域都没有一个可以达到类似 ImageNet 在计算机视觉领域地位的数据集；

3、通过互联网进行终身学习持续优化。过去，机器学习存在的问题在于，数据训练模型往往是静态的，针对模型缺陷的每一次反馈和调整都需要手动介入；另一方面，很多信息是实时更新的：以一款新发布的手机为例，发布会信息出来之后，通过抓取文本，产品的价格属性很快就能得到更新，如果是百度百科之类还需要等待人工进行编辑；

4、获取常识并结构化。现实中，越基础的知识越缺乏结构化的整理，Magi 则通过理解大量的纯文本中的信息去掌握这些未被系统整理过的知识；

5、多任务迁移学习和跨领域迁移学习。即先通过整个互联网文本进行宽泛的背景知识学习，然后迁移到某个具体领域中，为企业客户减轻负担。就像迁移能力帮助 CV 产生规模化的商业价值一样，NLP 的商业化进程迁移学习能力将同样重要；

6、面向远期可解释 AI 保证知识可溯源。这是为面向未来的人工智能发展所做的准备。尽管 Magi 仍然使用了深度学习技术，无法避开黑箱问题，但系统学习到的信息都留下了可溯源的痕迹。

据季逸超介绍，其中前两个方向是目前学术领域也在攻坚的问题，同时兼顾这 6 个方向也要求相当的工程能力。

在质量参差不齐的海量互联网文本中，为了提升信息的利用率，Magi 必须尽可能彻底地从每一段质量参差不齐且主题各异的文本中提取出全部知识。这也决定一切现有的技术方案都不可用：这不再是一个清晰的序列标注问题，交错叠加的关系使得搜索空间爆炸式增长，不受限制的领域还意味着根本没有可用的训练数据。

因此，团队用了近 4 年时间从零设计研发了整个技术堆栈：采用原创 succinct 索引结构的分布式搜索引擎、使用专门设计的 Attention 网络的神经提取系统、不依赖 Headless 浏览器的流式抓取系统、支持混合处理 170 余种语言的自然语言处理管线……与此同时，在团队里语言学家的帮助下，Magi 收获了独一无二的训练/预训练数据。

这个系统通过引入传统搜索中的 query-independent 质量因素，使得优质可靠的消息源会更被重视；而在泛化能力上，其基于多级迁移学习的提取模型，则摒弃了人工规则、角色标注、依存分析等限制泛化能力的环节，并且可在 zero-resource 的前提下直接应用到各种外语文本上；随着数据的积累以及来源多样性的扩充，这个系统还能够持续学习与调整，自动消除学习到的噪音和错误结果。

他认为，Magi 背后的技术既可以用来从零为行业构建知识图谱，也可以和行业已有的专用知识图谱结合，即知识图谱填充。例如说人类专家描述一个病症把发病率之类的信息列举出来，但是 Magi 基于一些病友在网上交流发布的内容，能够把更多病症相关的信息结构化地填充进来。

四、参考链接

https://mp.weixin.qq.com/s/xM97tpu9_KxlaknbAUZH2w没想干掉百度搜索，但Magi正成为最大的通用知识图谱系统