环孢菌素胶囊 http://news.39.net/bjzkhbzy/180907/6511113.html作者
MichaelBronstein
编译
Mr.Bear
图机器学习在年大放异彩，各种新理论和新应用精彩纷呈。就在近日，伦敦帝国理工学院教授、推特图学习研究负责人MichaelBronstein与图机器学习领域的多位资深研究者进行了深入交流，对该领域在过去的一年中的进展进行了较为全面的盘点，并预测了未来发展的方向。1
消息传递机制
WillHamilton，麦吉尔大学助理教授，Mila的CIFAR主席，GraphSage作者。「年，图机器学习领域开始受限于消息传递范式的本质缺陷。」上述缺陷包含人们常说的「瓶颈」、「过平滑」[2]等问题，以及表征能力的理论限制[3,4]。展望未来，我们希望研究人员在年开始寻找图机器学习的下一种核心范式。目前，我们还不确定下一代图机器学习算法应该是怎样的，但是我们相信该领域的进步有赖于大家摆脱在年及以前占据主导地位的消息传递机制。在年，我们希望图机器学习技术能够走进更具影响力和挑战性的应用领域。近年来，有太多研究工作都着眼于简单、同质化的节点分类任务。此外，我们还希望能看到该领域能够在需要更复杂的算法推理的任务上取得方法论上的研究进展（例如，涉及知识图谱、强化学习，以及组合优化等问题的任务）。2
算法推理
图1：指针图网络（PointerGraphNetworks）融合了来自经典计算机科学的结构化归纳偏置。PetarVeli?kovi?，DeepMind高级研究员，图注意力网络（GAT）作者。显然，图表征学习在年已经不可逆转地成为了机器学习领域最受瞩目的课题之一。在年，图机器学习领域取得了不胜枚举的研究进展，神经算法推理是最令人振奋的课题之一。传统意义上，神经网络在插值方面十分强大，但是众所周知，神经网络是一种较差的外推器（extrapolator）。由于推理的主要特征之一就是能够在训练数据分布之外发挥作用，因此神经网络的推理能力不足。推理任务可能是进一步发展图神经网络（GNN）的理想场景，这不仅因为我们认为GNN非常适用于推理任务，还因为许多真实世界中的图任务具有同质性，这意味着更加简单的GNN往往是最有效且可扩展的[6,7]。基于历史上的神经图灵机[8]、可微神经计算机[9]等神经执行器（neuralexecutors）的成功，受益于现在广为使用的各种图机器学习工具包，年发表的一些研究工作从理论上探究了神经执行器的缺陷[5,10,11]，提出了一些基于GNN的强大的新推理架构[12-15]，并且在神经推理任务上具有完美的泛化性能[16]。在年，这样的架构可以自然而然地促进组合优化研究领域[17]的发展，我们也非常希望看到预训练的算法执行器可以帮助我们将经典算法应用到未经处理的、甚至不适合这些算法的输入上。例如，XLVIN智能体[18]正是使用了上述概念。它使GNN在即使不知道底层具体的马尔科夫决策过程（MDP）的情况下，也可以在强化学习工作流程中执行「值迭代」式的算法。我们相信在年，将GNN广泛应用于强化学习的时机将会成熟。3
关系结构发现
图2：GNN使我们可以学习用于解释多粒子系统（左图）的状态转移图（右图）。ThomasKipf，谷歌大脑研究科学家，图卷积网络（GCN）作者。自从最近基于GNN的模型被广泛采用以来，图机器学习社区中一个值得注意的趋势是：将计算结构与数据结构分离开来。在ICML的研讨会演讲「关系结构发现」中，我介绍了这一趋势。通常而言，我们设计的图神经网络会在一个由数据集给出的固定（或者按时序演进）的结构上传递消息，即数据集的节点和边会被作为计算结构或我们模型的消息传递结构的金标准。在年，我们已经看到人们对能够适应计算结构（也就是使用哪些部件作为节点，在哪些节点对之间进行消息传递）的模型越来越感兴趣，而不仅仅是基于注意力的模型。年发表的「AmortisedCausalDiscovery」是该领域的一个颇有影响力的例子[19,20]，它使用了神经关系推理技术根据时间序列数据来推理因果图。该领域的其它重要工作还包括：具有可学习指针的GNN[21,15]、具有关系机制的GNN[22,23]、通过自适应的计算图学习基于网格的物理仿真器[24]、学习推理执行计算的抽象节点的模型[25]。这些研究进展具有广泛的启发意义，使我们可以有效地在其它的领域（例如文本或视频处理）利用GNN架构提供的对称性（例如，节点排列等变性）和归纳偏置（例如，对成对的交互函数建模）。展望未来，我们希望可以看到在给定数据和任务的情况下，如何通过不依赖于显式的监督学习最优的计算图结构（同时考虑节点和关系）。通过仔细分析这些学习到的结构，我们可能获得更好的对于模型为了解决任务而执行的计算的解释，并且可能使我们进一步类比因果推理。4
表达能力
HaggaiMaron，英伟达研究科学家，「provablyexpressivehigh-dimensionalgraphneuralnetworks」作者。图神经网络的表达能力是年图机器学习领域的核心问题之一。年，有许多优秀的论文讨论了各种GNN架构的表达能力[27]，指出了由于深度和宽度的限制，导致GNN存在根本上的表达能力局限性[28]。此外，也有一些工作描述了GNN可以检测出怎样的结构并对其进行计数[28]，说明使用固定数量的GNN对于许多图任务并没有意义。在论文「Towardsscale-invariantgraph-relatedproblemsolvingbyiterativehomogeneousgraphneuralnetworks」中，作者则提出了一种迭代式的GNN，可以学会自适应地终止消息传递过程[14]。在年，我们希望看到研究社区在「条理化的图生成模型方法」，「基于GNN的图匹配与GNN的表达能力之间的联系」，「学习图像、音频等结构化数据的图」等方面取得进展。此外，我们还期待GNN研究社区和计算机视觉研究社区在场景图领域有更深入的合作。5
可扩展性
MatthiasFey，多特蒙德工业大学博士生，PyTorchGeometric和OpenGraphBenchmark的作者。年，解决GNN的可扩展性问题是图机器学习研究领域最热门的话题之一。近年来，一些方法依赖于通过将预测与传播的过程解耦来简化底层的计算。有大量的论文直接将不可训练的传播方案作为预处理[30,7]或后处理[6]步骤与「图无关」的模块结合起来。这会使得运行时间得到显著的优化，尤其是在同质图上的性能并没有下降。随着使用越来越大的数据集，我们希望看到图学习的可扩展性有更大的进展，以及如何以一种可扩展的方式使用可训练的、表达能力强的消息传播。6
动态图
图3：动态图示例EmanueleRossi，Twitter机器学习研究员、帝国理工博士生，TemporalGraphNetworks作者。许多有趣的图机器学习应用本质上是动态的，其中图的拓扑结构和属性都会随着时间演化。在社交网络、金融交易网络或「用户-物料」交互网络中，我们往往面对的就是动态图场景。直到最近，绝大多数图机器学习的研究重点
