统一大型语言模型和知识图谱：研究路线图与未来方向

统一大型语言模型和知识图谱：研究路线图

以 ChatGPT 为代表的大型语言模型（LLMs）是全新一代知识表示和调用方式，相比以往知识图谱的方式更加高效智能可扩展。但符号化的知识图谱过时了吗？并非如此，知识图谱和大模型可以进行很好的结合，互相促进，提升知识利用的效果。本文基于澳大利亚格里菲斯大学等学者的研究《统一大型语言模型和知识图谱：路线图》，详述最全指南。

图 1

大型语言模型（LLMs），如 ChatGPT 和 GPT4，由于其新兴能力和通用性，正在自然语言处理和人工智能领域掀起新浪潮。然而，LLMs 是黑箱模型，常常难以捕获和获取事实知识。相比之下，知识图谱（KGs），例如维基百科和华普，是结构化知识模型，明确存储丰富的事实知识。知识图谱可以通过提供外部知识以推理和解释，从而增强 LLMs。同时，知识图谱难以构建并且具有不断演变的特性，这对知识图谱中生成新事实和表示未见知识的现有方法提出了挑战。因此，将 LLMs 和知识图谱统一起来并同时利用它们的优势是互补的。在这篇文章中，我们提出了一个前瞻性的 LLMs 和知识图谱统一的路线图。我们的路线图包括三个总体框架**，即 1) 知识图谱增强的 LLMs，它在 LLMs 的预训练和推理阶段，或为了增强对 LLMs 所学知识的理解，将知识图谱纳入其中；2) LLM 增强的知识图谱，利用 LLMs 进行不同的知识图谱任务，如嵌入，完成，构建，图到文本生成和问答；以及 3)协同的 LLMs + 知识图谱，在其中 LLMs 和知识图谱扮演着平等的角色，并以互利的方式工作，以增强 LLMs 和知识图谱对由数据和知识驱动的双向推理。我们在路线图中回顾和总结了这三个框架内的现有努力，并指出了它们的未来研究方向。

1. 引言

图 2

大型语言模型（LLMs）（例如，BERT [1]，RoBERTA [2] 和 T5 [3]），在大规模语料库上预训练，已经在各种自然语言处理（NLP）任务中展现出了优异的表现**，如问题回答 [4]，机器翻译 [5] 和文本生成 [6]。最近，模型规模的急剧增加进一步赋予了 LLMs 新兴的能力 [7]，为将 LLMs 作为人工通用智能（AGI）的应用铺平了道路。像 ChatGPT 和 PaLM2 这样的高级 LLMs，拥有数十亿的参数，在许多复杂的实际任务中展现出了巨大的潜力，如教育 [8]，代码生成 [9] 和推荐 [10]。

尽管 LLMs 在许多应用中取得了成功，但它们因缺乏事实知识而受到批评。具体来说，LLMs 记住了训练语料库中包含的事实和知识 [14]。然而，进一步的研究揭示，LLMs 无法回忆起事实，而且经常会产生幻觉，生成事实上不正确的声明 [15]，[28]。例如，当被问到'爱因斯坦在什么时候发现了重力？'时，LLMs 可能会说'爱因斯坦在 1687 年发现了重力'，这与艾萨克·牛顿制定了引力理论的事实相矛盾。这个问题严重损害了 LLMs 的可信度。

作为黑箱模型，LLMs 也因其缺乏可解释性而受到批评。LLMs 隐含地在它们的参数中表示知识。解释或验证 LLMs 获取的知识很困难。此外，LLMs 通过概率模型执行推理，这是一个不确定的过程 [16]。LLMs 用于得出预测或决策的特定模式和功能对人类来说并不直接可访问或可解释 [17]。尽管一些 LLMs 通过应用思维链 [29] 来解释它们的预测，但它们的推理解释也受到了幻觉问题的影响 [30]。这严重影响了 LLMs 在高风险场景中的应用，如医疗诊断和法律判断。例如，在一个医疗诊断场景中，LLMs 可能会错误地诊断疾病，并提供与医学常识相矛盾的解释。这引发了另一个问题，即在一般语料库上训练的 LLMs 可能无法很好地泛化到特定领域或新知识，因为缺乏领域特定的知识或新的训练数据 [18]。

为解决上述问题，一个可能的解决方案是将知识图谱（KGs）融入到 LLMs 中。知识图谱（KGs），以三元组（头实体，关系，尾实体）的方式存储大量事实，是一种结构化且决定性的知识表示方式（例如，Wikidata [20]，YAGO [31]，和 NELL [32]）。KGs 对于各种应用至关重要，因为它们提供了准确的显式知识 [19]。此外，它们因其象征性推理能力 [22] 而著名，该能力可以生成可解释的结果。KGs 也可以随着新知识的不断加入而积极演化 [24]。此外，专家可以构建特定领域的 KGs，以提供精确且可靠的特定领域知识 [23]。然而，KGs 难以构建 [33]，而当前在 KGs 中的方法 [25]，[27]，[34] 在处理真实世界 KGs 的不完整和动态变化性质方面是不足够的。这些方法未能有效地模拟未见实体和表示新事实。此外，它们经常忽视 KGs 中的丰富文本信息。此外，KGs 中的现有方法通常针对特定的 KGs 或任务定制，不够通用。因此，利用 LLMs 来解决 KGs 面临的挑战也是必要的。我们分别在图 1 中总结了 LLMs 和 KGs 的优缺点。

最近，将 LLMs 与 KGs 统一起来的可能性越来越受到研究人员和从业人员的关注。LLMs 和 KGs 本质上是互相关联的，可以相互增强。在 KG 增强的 LLMs 中，KGs 不仅可以被整合到 LLMs 的预训练和推理阶段，以提供外部知识 [35]-[37]，而且还可以用于分析 LLMs 并提供可解释性 [14]，[38]，[39]。在 LLM 增强的 KGs 中，LLMs 已经被用于各种与 KG 相关的任务，例如 KG 嵌入 [40]，KG 完成 [26]，KG 构建 [41]，KG-to-text 生成 [42]，和 KGQA [43]，以提高 KGs 的性能并促进 KGs 的应用。在协同作用的 LLM + KG 中，研究人员将 LLMs 和 KGs 的优点结合起来，相互提高在知识表示 [44] 和推理 [45]，[46] 方面的性能。虽然有一些关于知识增强 LLMs 的调查 [47]-[49]，主要关注使用 KGs 作为外部知识来增强 LLMs，但它们忽视了其他整合 KGs 的可能性，以及 LLMs 在 KG 应用中的潜在角色。

在这篇文章中，我们提出了一个展望未来的路线图，用于统一 LLMs 和 KGs，利用它们各自的优势并克服各种方法的限制，以适应各种下游任务。我们提出了详细的分类，进行了全面的回顾，并指出了这些快速发展领域的新兴方向。我们的主要贡献如下：

路线图。我们提出了一个展望未来的路线图，用于整合 LLMs 和 KGs。我们的路线图包括三个通用框架来统一 LLMs 和 KGs，即，KG 增强的 LLMs，LLM 增强的 KGs，以及协同作用的 LLM + KGs，为这两种不同但互补的技术的统一提供了指导。

分类和回顾。对于我们路线图的每一个整合框架，我们都提出了详细的分类和统一 LLMs 和 KGs 研究的新颖分类法。在每个类别中，我们从不同的整合策略和任务的角度回顾了研究，这为每个框架提供了更多的洞察。

新兴进步的覆盖范围。我们覆盖了 LLMs 和 KGs 的先进技术。我们包括了最新的 LLMs 如 ChatGPT 和 GPT-4 以及新的 KGs，例如多模态知识图谱的讨论。

挑战和未来方向的总结。我们强调了现有研究中的挑战，并提出了一些有前途的未来研究方向。

2. 背景知识

在本节中，我们将首先简要介绍几种代表性的大型语言模型（LLMs），并讨论提示工程，该工程有效地使用 LLMs 进行各种应用。然后，我们将说明知识图谱（KGs）的概念，并介绍 KGs 的不同类别。

大型语言模型

在大规模语料库上预训练的大型语言模型（LLMs）已经在各种 NLP 任务中展现出巨大的潜力 [13]。如图 3 所示，大多数 LLMs 都源于 Transformer 设计 [50]，该设计包含了由自注意力机制赋能的编码器和解码器模块。根据架构结构，LLMs 可以被分类为三个组：1）仅编码器的 LLMs，2）编码器 - 解码器的 LLMs，和 3）仅解码器的 LLMs。如图 2 所示，我们总结了几个具有不同模型架构，模型大小和开源可用性的代表性 LLMs。

图 3

提示工程

提示工程是一个新兴的领域，专注于创建和精炼提示，以最大化大型语言模型（LLMs）在各种应用和研究领域中的效用 [63]。如图 4 所示，提示是为 LLMs 指定任务（例如，情感分类）的自然语言输入序列。一个提示可能包含几个元素，即 1）指令，2）上下文，和 3）输入文本。指令是指导模型执行特定任务的短句。上下文为输入文本或少数示例提供背景。输入文本是需要模型处理的文本。提示工程寻求提高大型语言模型（例如，ChatGPT）在多种复杂任务中的能力，如问题回答，情感分类和常识推理。链式思维（CoT）提示 [64] 通过中间推理步骤实现复杂推理能力。Liu 等人 [65] 结合外部知识来设计更好的知识增强提示。自动提示工程师（APE）提出了一种自动提示生成方法，以提高 LLMs 的性能 [66]。提示提供了一种简单的方式，可以在无需微调的情况下利用 LLMs 的潜力。精通提示工程可以更好地理解 LLMs 的优点和缺点。

图 4

知识图谱

知识图谱（KGs）将结构化知识存储为三元组集合 KG = {(h, r, t) ⊆ E × R × E}，其中 E 和 R 分别表示实体和关系的集合。现有的知识图谱（KGs）可以根据存储的信息被分为四组：1）百科全书型 KGs，2）常识 KGs，3）特定领域 KGs，以及 4）多模态 KGs。我们在图 5 中展示了不同类别的 KGs 的例子。

图 5

应用

LLMs 以及 KGs 已被广泛应用在各种真实世界的应用中。我们在表 1 中总结了一些使用 LLMs 和 KGs 的代表性应用。ChatGPT/GPT-4 是基于 LLM 的聊天机器人，可以以自然对话格式与人类进行交流。为了提高 LLMs 的知识意识，ERNIE 3.0 和 Bard 将 KGs 整合进他们的聊天机器人应用中。Firefly 开发了一款照片编辑应用，允许用户使用自然语言描述来编辑照片。Copilot、New Bing 和 Shop.ai 分别采用 LLMs 来增强他们在编码助手、网络搜索和推荐等领域的应用。Wikidata 和 KO 是两个代表性的知识图谱应用，被用来提供外部知识。AliOpenKG 是一个为推荐设计的知识图谱。Doctor.ai 开发了一个健康护理助手，整合了 LLMs 和 KGs 以提供医疗建议。

图 6

3 路线图和分类

在本节中，我们首先提出一个明确的框架路线图，以统一 LLMs 和 KGs。然后，我们呈现了关于统一 LLMs 和 KGs 的研究分类。

3.1 路线图

我们在图 6 中描绘了统一 KGs 和 LLMs 的路线图。在路线图中，我们确定了统一 LLMs 和 KGs 的三个框架，包括 KG 增强的 LLMs，LLM 增强的 KGs，以及协同的 LLMs + KGs。

图 7

3.1.1 KG 增强的 LLMs

LLMs 因其能够从大规模语料库中学习知识并在各种自然语言处理（NLP）任务中取得最先进的性能而闻名。然而，LLMs 经常因其幻觉问题 [15] 和缺乏可解释性而受到批评。为解决这些问题，研究人员已经提出了用知识图谱（KGs）来增强 LLMs。KGs 以明确和结构化的方式存储大量知识，这可以用来增强 LLMs 的知识意识。一些研究人员已经提出在预训练阶段将 KGs 纳入 LLMs，这可以帮助 LLMs 从 KGs 中学习知识 [91]，[92]。其他研究人员提出在推理阶段将 KGs 纳入 LLMs。通过从 KGs 中检索知识，可以显著提高 LLMs 在获取特定领域知识方面的性能 [93]。为了提高 LLMs 的可解释性，研究人员还利用 KGs 来解释 LLMs 的事实 [14] 和推理过程 [94]。

3.1.2 由 LLM 增强的 KG

知识图谱（KGs）储存着结构化的知识，这在很多实际应用中都起着至关重要的作用 [19]。然而，现有的 KG 方法在处理不完整的 KG [25] 和处理文本语料库来构建 KG [95] 方面存在短板。鉴于 LLM 的泛化能力，许多研究人员正试图利用 LLM 来解决 KG 相关的任务。最直接的方式就是将 LLM 作为 KG 相关任务的文本编码器。研究人员利用 LLM 处理 KG 中的文本语料库，然后使用文本的表示来丰富 KG 的表示 [96]。一些研究还使用 LLM 来处理原始语料库，并提取关系和实体用于 KG 的构建 [97]。最近的一些研究试图设计一个 KG 提示，这可以有效地将结构化的 KG 转化为 LLM 可以理解的格式。这样，LLM 就可以直接应用到 KG 相关的任务中，例如 KG 完成 [98] 和 KG 推理 [99]。

图 8

3.1.3 融合了 LLM 和 KG 的系统

这几年，研究人员越来越关注将 LLM 和 KG 融合的潜力 [40]，[42]。LLM 和 KG 是两种固有的互补技术，应当将它们统一到一个通用框架中，以便互相增强。为了进一步探索这种统一，我们在图 7 中提出了一个融合了 LLM 和 KG 的统一框架。这个统一框架包含四层：1) 数据，2) 融合模型，3) 技术，和 4) 应用。在数据层，LLM 和 KG 分别用于处理文本和结构化数据。随着多模态 LLM [100] 和 KG [101] 的发展，这个框架可以扩展到处理多模态数据，如视频、音频和图像。在融合模型层，LLM 和 KG 可以相互协同，以提高他们的能力。在技术层，已经在 LLM 和 KG 中使用的相关技术可以被纳入到这个框架中，以进一步增强性能。在应用层，LLM 和 KG 可以整合起来，以解决各种实际应用，如搜索引擎 [102]、推荐系统 [10] 和 AI 助手 [103]。

图 9

3.2 分类

为了更好地理解将大型语言模型 (LLMs) 和知识图谱 (KGs) 统一的研究，我们为路线图中的每个框架提供了更细粒度的分类。具体来说，我们关注了将知识图谱和大型语言模型集成的不同方式，即，知识图谱增强的大型语言模型、知识图谱增量的大型语言模型，以及融合了大型语言模型和知识图谱的系统。研究的细粒度分类如图 8 所示。

知识图谱增强的大型语言模型。整合知识图谱可以提高大型语言模型在各种下游任务中的性能和可解释性。我们将知识图谱增强的大型语言模型研究分为三组：1) 知识图谱增强的大型语言模型预训练包括在预训练阶段应用知识图谱并提高大型语言模型的知识表达的工作。2) 知识图谱增强的大型语言模型推理包括在大型语言模型的推理阶段使用知识图谱的研究，这使得大型语言模型能够在不进行再训练的情况下获取最新的知识。3) 知识图谱增强的大型语言模型的可解释性包括使用知识图谱来理解大型语言模型所学习的知识和解释大型语言模型的推理过程的工作。

大型语言模型增量的知识图谱。大型语言模型可以应用于增强各种与知识图谱相关的任务。我们根据任务类型将大型语言模型增量的知识图谱研究分为五组：1) 大型语言模型增强的知识图谱嵌入包括使用大型语言模型来丰富知识图谱的表示，通过编码实体和关系的文本描述。2) 大型语言模型增强的知识图谱完成包括使用大型语言模型编码文本或生成事实以提高知识图谱完成 (KGC) 性能的论文。3) 大型语言模型增强的知识图谱构建包括使用大型语言模型处理实体发现，共指消解，和关系提取任务以构建知识图谱的工作。4) 大型语言模型增强的知识图谱到文本生成包括使用大型语言模型生成描述来自知识图谱的事实文本。

4 未来方向

在前面的部分中，我们已经回顾了将知识图谱 (KGs) 和大型语言模型 (LLMs) 统一的最新进展，但是仍有许多挑战和未解决的问题需要解决。在本节中，我们将讨论这个研究领域的未来方向。

使用知识图谱 (KGs) 进行大型语言模型 (LLMs) 的错觉检测
在 LLMs 中编辑知识的知识图谱 (KGs)
用于黑盒 LLMs 知识注入的知识图谱 (KGs)
针对知识图谱 (KGs) 的多模态 LLMs
用于理解知识图谱结构的 LLMs
用于双向推理的融合 LLMs 和 KGs

5 结论

将大型语言模型（LLMs）和知识图谱（KGs）统一是一个吸引了学术界和工业界越来越多关注的活跃的研究方向。在本文中，我们对该领域的最近研究提供了全面的概述。我们首先介绍了将 KGs 集成以增强 LLMs 的不同方式。然后，我们介绍了应用 LLMs 于 KGs 的现有方法，并基于各种 KG 任务建立了分类法。最后，我们讨论了这个领域的挑战和未来的方向。我们希望本文能够提供对这个领域的全面理解，并推动未来的研究。

统一大型语言模型和知识图谱：研究路线图与未来方向