通用自适应的推理增强系统 (AuRoRA)

邹安妮, 张倬胜, 赵海
上海交通大学
Demo Video Code

在当前大模型百花齐放的时代，如何有效地将大模型适配各类复杂推理任务仍是未完全探索的挑战。思维链的出现激发了大模型在推理方面的潜力，但最新工作表明现有大模型多步推理依赖人工模版构造，缺乏可靠知识依据，且亟需自我反思与纠正机制。为解决上述问题并提供一站式大模型适配方案，本工作提出通用自适应的推理增强系统（AuRoRA），具备任务自适应和过程全自动的特点，从知识检索、知识精炼和知识纠正等多个维度增强系统的推理能力，并适配不同的大模型。该系统提供用户友好的结果可视化分析，在大模型时代具有重要学术和应用价值。

样例示范

系统流程

本系统基于思维链提示学习技术，具备任务自适应和过程全自动的特点，有效将大模型适配多样化的任务场景。系统的工作流程分为六个步骤：

  1. 问题自识别: 用户输入问题，系统将自动识别问题类型并选择问题适配的提示语。
  2. 样例自构建: 系统根据问题类型对数据池中的问题进行聚类分类，自动构建提示样例，保证方法的高效益性和构建样例多样性。
  3. 知识自抽取: 系统根据输入问题的内容，从多源知识库中进行相关知识的抽取，提供多样化的知识依据，有效缓解幻觉问题。
  4. 知识自精炼: 系统对多源知识进行融合与精炼，以实现不同源知识之间的双向核对与过滤，提高知识增强的可靠性。
  5. 推理自修正: 系统根据自动抽取的高质量知识，对原有的思维链进行重写修正，以提高其准确性和逻辑性。
  6. 输出自组织: 系统采用自洽性解码策略，在过程中多次采样思维链（包含最初及修正的思维链）。通过模拟人类发散性的思考方式，自动组织输出，并选择自洽性最高的答案作为最终答案。

实验结果

相比于直接采用问答的应用方式，本系统可大幅提升模型的推理精度和可解释性。

相关工作

近期工作主要从三个方面对思维链系统进行增强:

BibTeX

@misc{aurora-web,
title={AuRoRA: Augmented Reasoning and Refining with Task-Adaptive Chain-of-Thought Prompting},
author={Anni Zou and Zhuosheng Zhang and Hai Zhao},
url={https://anni-zou.github.io/aurora-en.github.io/},
year={2023}
}