孙一洲,加州大学洛杉矶分校计算机科学副教授;亚马逊学者;2023年知识发现与数据挖掘会议总主席
Sun 解释说,事实上,提高 GNN 的效率本身就是一个活跃的研究领域——从高级算法设计到芯片设计水平。
“在算法层面,你可能会尝试采用某种采样技术,只是尝试减少操作次数,”她说。“或者也许只是设计一些更有效的算法来稀疏图。例如,假设我们想要进行某种相似性搜索,以保留与每个目标节点最相似的节点。然后人们可以设计一些智能索引技术来使该部分变得非常快。
“在推理阶段,我们可以进行知识蒸馏,将一个非常复杂的模型(比如说图神经网络)提炼成一个非常简单的图神经网络——或者不一定是图神经网络,可能只是一种非常简单的结构,就像 MLP [多层感知器]。然后我们可以更快地进行计算。量化也可以应用于推理阶段,使计算速度更快。
“所以这是算法层面的。但现在人们走得更深了。有时候,想要解决问题,就需要到系统层面去解决。所以人们说,让我们看看如何设计这个分布式系统来加速训练、加速推理。
“例如,在某些情况下,内存成为主要限制。在这种情况下,我们唯一能做的可能就是分配工作量。那么自然的问题就是我们如何协调或同步每个计算节点训练的模型参数。如果我们必须将数据分发到 10 台机器,您如何与这 10 台机器协调以确保您只有一个最终版本?
“人们现在甚至更深入,在硬件方面进行加速。因此软硬件协同设计也变得越来越流行。它需要人们真正了解很多不同的领域。
“顺便说一句,在 KDD 上,与许多其他机器学习会议相比,现实世界的问题始终是我们的首要关注点。很多时候,为了解决现实世界的问题,我们必须与不同背景的人交谈,因为我们不能把它包装成我们高中时解决的那种理想问题。”
然而,除了提高 GNN 的多功能性和准确性的一般努力之外,还有针对 GNN 技术的特定应用的新研究。
“有一些工作是关于如何在图设置中进行因果分析,这意味着对象实际上是相互干扰的,”Sun 解释道。“这与传统环境有很大不同:例如,药物研究中的患者是相互独立的。
“还有一种新趋势是将深度表示学习与因果推理相结合。例如,我们如何将您尝试的治疗表示为连续向量,而不仅仅是二元治疗?我们能否使治疗在时间上连续——这意味着它不仅仅是一种静态的一次性治疗?如果我 10 天后进行治疗,与 20 天后进行治疗相比,结果如何?时间很重要;我们如何注入时间信息?
“图也可以被认为是描述多智能体动态系统的良好数据结构——这些对象如何在动态网络设置中相互交互。那么,我们如何将生成思想融入到图中呢?图生成对于许多领域都非常有用,例如在制药行业。
“还有很多应用程序可以让我们从大型语言模型 [LLM] 中受益。比如知识图谱推理。我们知道LLM会产生幻觉,而KG上的推理是非常严谨的。这两者的良好组合是什么?
“对于 GNN,总会有新的东西出现。图只是一种非常有用的数据结构,可以用来模拟我们互联的世界。”