阿里达摩院提出“知识链”框架，逐步纠错降低大模型幻觉

5月9日消息，阿里巴巴达摩院（湖畔实验室）、新加坡南洋理工大学等联合提出了大模型知识链（CoK）框架。相比传统的检索增强生成（RAG）技术，该框架可实时检索异构知识源并逐步纠正推理错误，进一步提高大模型问答知识型问题的准确率，降低幻觉现象。相关论文入选正在奥地利维也纳举行的国际表征学习大会（ICLR 2024）。

“执导了《El Tio Disparate》的阿根廷演员出生于哪一年？”面对此类需要多步推理的知识型问题，大模型可能会“胡言乱语”，给出看似符合逻辑，实则错误或并不存在的回答。这个问题被称作大模型“幻觉”，极大制约了大模型的应用场景。学界也在重点研究给大模型“外挂知识库”的RAG等技术路线。

在论文《Chain-of-Knowledge: Grounding Large Language Models via Dynamic Knowledge Adapting over Heterogeneous Sources》中，达摩院领衔的联合研究团队提出了一种名为“知识链”（Chain-of-Knowledge, CoK）的新框架，包括推理准备、动态知识适应和答案整合三个步骤。对于知识密集型问题，知识链先确定知识领域，并准备若干中间推理步骤和相应答案。如若这些初步结论没有共识，知识链将实时检索相应知识领域内的不同知识源，逐步生成、纠正推理步骤，给出最终答案。

图说：“知识链”（CoK）框架包括（I）推理准备（II）动态知识适应和（III）答案整合

与传统的RAG相比，知识链框架创新性地设计了对推理分析过程的逐步纠错，最大程度地防止错误层层传导。有别于此前的大模型知识增强方案主要使用非结构化数据源，知识链框架同时支持结构化数据源，并引入了经过指令微调的自适应查询生成器，从而更精准地生成查询语句，从知识源提取到有效信息。

在通用知识、医学、物理、生物等多个领域的实验结果显示，相比起思维链（Chain-of-Thought, CoT）方法，知识链框架可将大模型的回答准确率平均提高4.3%。对比ReAct、Verify-and-Edit等RAG方法，知识链也表现出稳定的优势。据论文介绍，知识链有望连接各类大模型和不同格式的知识源，帮助解决隐私保护、知识源可靠性和快速信息更新等关键问题。

据介绍，ICLR由图灵奖得主、深度学习领军人物Yoshua Bengio和Yann LeCun牵头举办，是国际AI顶级学术会议之一。达摩院共有三篇大模型研究论文入选，另外两篇涉及大模型推理长度外推、多语言安全等课题。