最近看到一篇论文,Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges,因此我简单的了解一下几何深度学习。
网站中提供了一个博客、讲解视频和论文的下载地址,已经非常详细了。
几何深度学习——Geometric Deep Learning
这里仅仅做一个简单的摘录与个人理解
几何深度学习,从对称性和不变性的角度,尝试对一大类机器学习问题进行统一。
因此,几何深度学习,指的不是某一个算法,而是在许多算法中找到一个共同点,进行概况。
作者认为,深度学习(表征学习)领域的现状让人想起十九世纪的几何学情况:
一方面,在过去十年中,深度学习给数据科学带来了一场革命,使许多以前被认为是无法完成的任务成为可能--无论是计算机视觉、语音识别、自然语言翻译,还是下围棋。另一方面,我们现在有各种不同的神经网络架构,用于不同类型的数据,但很少有统一的原则。
因此,我们很难理解不同方法之间的关系。
作者希望,找到算法的共性,以此为框架,作为一种思想,启发后人的算法结构设计。
说到一个几何特性(geometric prior)——缩放,如文中下图所示,表示了一种缩放的近似。
下图反映了另一种几何不变性,从“数字3”的位置从点u -> g,但图片内容没有发生变化(图片还是代表数字3)。
根据上述几何具有的特点,作者得到了几何深度学习的蓝图。它可以在大多数用于表征学习的流行的深度神经架构中得到认可:一个典型的设计包括一连串的等值层(例如CNN中的卷积层),可能之后是一个不变的全局池化层,将所有东西聚集成一个输出。
有了蓝图,接下来是特点的概况,如下图
英语不好,就不强行翻译:
The 5G of Geometric Deep Learning: grids, groups & homogeneous spaces with global symmetry, graphs, geodesics & metrics on manifolds, and gauges (frames for tangent or feature spaces).
一些个人理解
因此,我们熟悉的卷积神经网络(CNN),图神经网络(GNN),循环神经网络(RNN)等,都能被作者归于这个框架之中。
作者的目的,就是概况现有深度学习的框架,说明它们的共性,希望启发后续研究者。
此外,作者在2017年MSP的一篇论文Geometric Deep Learning: Going beyond Euclidean data中,提出了几何深度学习。所以,这并不算是一个全新的概念。
论文中也提到了一些深度学习算法的几何特性,例如平移不变性等,
但个人感觉,没有解决,深度学习结果的可解释性的问题。