WWW2023基于层次化关系型图神经网络的长短期表征学习
作者： AINLP 来源： AINLP
Learning Long- and Short-term Representations for Temporal Knowledge Graph Reasoning
Mengqi Zhang, Yuwei Xia, Qiang Liu, Shu Wu, Liang Wang
本文针对当前时序知识图谱推理模型在建模长短期时间依赖方面存在的不足，提出了一种基于层次化关系型图神经网络的长短期表征学习模型
01 引言
知识图谱（Knowledge Graph）是一种结构化的多关系数据，用于记录事件，描述实体间的相互关系。然而真实世界的事件是随时间不断发生变化的，实体和关系的语义也随之发生改变。因此，人们引入时序知识图谱（Temporal Knowledge Graph）来更真实地刻画现实世界中的事件。时序知识图谱的推理主要有两种设置：内插（Interpolation）和外推(Extrapolation)，本文主要关注外推设置，即给定历史时刻的图谱，来预测未来时刻的知识图谱。
对时序知识图谱的预测需要综合考虑图谱序列中的长期的历史信息和短期的历史信息，图1展示了一个时序知识图谱预测的示例：目的是预测2021年9月后谁将执政阿富汗。从长期历史依赖的角度来看，2001年1月份美国在阿富汗发动了战争。尽管2001年离2021年有很长的时间，但是2021年美国的行为对阿富汗当前的局势依然产生了巨大的影响，将会很大程度地影响阿富汗的政权，这对模型的预测有重要参考。从短期历史依赖的角度来看，2021年8月份发生的很多政治事件也对预测有着重要的参考作用，比如2021年8月俄罗斯承认塔利班政权（俄罗斯，承认，塔利班），塔利班包围阿富汗（塔利班，包围，阿富汗）。因此，综合考虑时序知识图谱中的长短期时间依赖信息才能对未来时序知识图谱的演化做出正确的判断。尽管已经有了非常多研究时序知识图谱的工作，但是这些工作在建模长短期依赖信息方面仍然存在很多问题：
图1 时序知识图谱推理示例图****
（1）已有的工作无法显式地建模时序知识图谱中的长期时间依赖。一方面，已有工作无法显示地建模相同实体在不同时间片之间的长期时间依赖关系。已有的工作主要利用循环递归网络来捕捉历史节点的时间依赖信息，然而这种编码方式通常是隐式的，并且很容易导致长期历史信息的损失，比如图1中2001年阿富汗对2021年阿富汗的影响，当前的工作难以建模到这种影响。另一方面，已有的工作忽视了不同实体在不同时间的长期依赖。不同实体在不同时间的时间依赖关系也需要在预测过程中考虑，比如图1中，2003年美国对2021年8月的阿富汗的影响。这种影响对于已有模型是很难建模的，并且实体间的时间间隔越大，建模的难度也就越大。
（2）已有工作忽视了时序知识图谱中长短期时间依赖的自适应建模。不同类型的实体和关系对于长期信息和短期信息的依赖是不同的。一些实体和关系可能更容易依赖长期历史信息，而另一些实体和关系则更容易受到短期信息的影响。因此，针对不同类型的实体和关系自适应地建模长短期时间依赖至关重要。
02 模型部分
本文提出了一种层次化的关系型图神经网络模型（HGLS模型），以充分捕捉时序知识图谱中的长短期时间依赖信息，用于时序知识图谱的推理，模型整体结构如图2所示。
图2 模型结构图
2.1 全局图构建模块
该模型将时序知识图谱序列转化为一个全局图，其中每个时刻的知识图谱作为全局图中的一个子图，不同的子图通过子图间公共实体进行关联。如图3所示，阿富汗节点作为公共实体，关联了三个子图。通过这种构建方式，2001年1月份的美国和2021年8月份的阿富汗通过二跳关系在全局图中相互关联。不同时刻的阿富汗在全局图中通过一跳关系直接关联。这些关联关系在原始的时序知识图谱中很难直接建立。通过对构建的全局图编码，模型可以建立不同实体间的语义依赖关系和时间依赖关系，从而建模到实体间的长期时间依赖性。在全局图中，我们称新加入的用于关联不同时刻出现的公共实体的边为时间关联关系（time-related relation），原始的实体间的关系称为语义关系（semantic relation），类似于语义关系，我们也为时间关联关系赋予了可学习的参数。
图3 全局图构建示例
2.2 层次化的关系型图神经网络模块
为了有效编码全局图，建模实体之间的语义和时间依赖，我们设计了一种层次化的关系型图神经网络（HRGNN）。HRGNN模块依次从子图层级和全图层级编码构建的全局图。
子图层级：在全局图中，每个时刻共同出现的实体及关系可以看成一个子图，这些实体间具有较强的语义依赖关系，我们先通过关系型图神经网络编码每个子图，来建模出现在同一时刻的实体之间的语义依赖性：
全图层级：基于子图层级的输出，我们在全图层级执行图神经网络的消息传播和聚合，捕捉出现在不同时刻实体间的时间依赖性。在这个过程中，我们会考虑实体之间的时间间隔，以细粒度建模实体间的时间依赖性，我们将时间的影响施加在实体之间的边上：
为了更加精细的捕捉时间依赖性和语义依赖性，模型使用注意力机制在全局图中计算相邻节点的聚合系数：
根据上述计算得到的聚合系数，模型聚合每个节点在全局图中的邻居节点的表征，来获得每个节点在全局图中的表征：
2.3 长短期表征提取模块
长期表征反映了实体和关系在长时间内的语义变化。由于 HRGNN 的全局图级别捕获了实体之间的长期时间依赖关系，因此全局层级的输出可以用作每个实体的长期表征：
相比于实体，关系的语义变化在较长的一段时间里趋于稳定。因此直接使用关系的静态表征作为关系的长期表征:
短期表征反映了实体和关系在最近时间内的语义变化。为了捕捉实体的短期语义的变化，使用门控循环单元 (GRU) 根据子图级别的输出对每个实体的最近 m 个时间戳进行编码：
同样地，每个关系的短期表征由关系r的最近m个时间戳的表征中计算得 到。模型采用 GRU 来建模关系的短期表征：
2.4 门控融合模块
模型利用一个门控模块自适应地动态融合实体和关系的长短期表征，用于未来时间的时序知识图谱实体预测任务：
03 实验结果
3.1 性能对比
为了验证我们模型的有效性，我们在典型的时序知识图谱数据集ICEWS14、ICEWS05-15、ICEWS18和GDELT数据上进行了测试，并且和当前的主流时序知识图谱推理模型进行了性能对比。实验结果验证了我们模型的有效性
3.2 消融实验
为了研究 HGLS 中主要模块的表现，本文将 HGLS 与其不同的模型变体进行了对比。其中，HGLS-L：仅考虑实体和关系的长期时间依赖； HGLS-S：仅考虑实体和关系的短期时间依赖；HGLS-Con：使用特征拼接代替门控融合模块；HGLS-RGCN：将层次化关系图神经网络用普通的关系图神经网络代替；HGLS-RGAT：不考虑全图层级的时间编码。实验结果可以证明，显式建模长期历史依赖信息、自适应融合长短期历史信息都可以有效提升推理性能：
04 总结
本文针对当前时序知识图谱推理模型在建模长短期时间依赖方面存在的不足，提出了一种基于层次化关系型图神经网络的长短期表征学习模型（HGLS）。为了有效地建模时序知识图谱中的长期时间依赖关系，该模型将时序知识图谱序列转化为全局图。为了编码全局图并捕捉其中实体之间的复杂语义关系和长期时间依赖，本文提出了一种层次化关系型图神经网络。此外，为了建模不同类型实体和关系对长短期时间信息的依赖关系，本文还设计了门控融合模块来自适应地融合实体和关系的长短期表征。本章在四个基准数据集上进行了大量实验，实验结果充分验证了HGLS模型在时序知识图谱的实体预测任务中，能够有效建模长短期时间依赖信息并提升推理效果。模型和实验的详细细节请关注我们的论文和代码：https://github.com/ZM7/HGLS。
**进技术交流群请添加AINLP小助手微信（id: ainlp2)**
**请备注具体方向+所用到的相关技术点**
**关于AINLP**
AINLP 是一个有趣有AI的自然语言处理社区，专注于 AI、NLP、机器学习、深度学习、推荐算法等相关技术的分享，主题包括LLM、预训练模型、自动生成、文本摘要、智能问答、聊天机器人、机器翻译、知识图谱、推荐系统、计算广告、招聘信息、求职经验分享等，欢迎关注！加技术交流群请添加AINLP小助手微信(id：ainlp2)，备注工作/研究方向+加群目的。
**阅读至此了，分享、点赞、在看三选一吧🙏**
更多AI工具，参考Github-AiBard123，国内AiBard123
