引起人工疑问可显着提高AI数学精度

是什么使AI系统擅长数学?不是原始的计算能力，而是几乎矛盾的东西：正确地谨慎。

当AI研究人员谈论数学推理时，他们通常专注于扩展 - 更大的模型，更多参数和较大的数据集。但是在实践中，数学能力并不是关于模型的计算多少。实际上，这是关于机器是否可以学会验证自己的工作，因为至少90%的推理错误来自自信地说明错误的中间步骤的模型。

我想一旦您理解，这听起来很明显。任何数学家都会告诉您，解决严重问题的关键不是原始智能，而是有条不紊的验证。然而多年来，人工智能研究人员一直在试图通过使模型更大来违反数学能力，仿佛单独的计算能力会产生仔细的推理。

Microsoft的RSTAR-MATH通过三个链接的创新来改变此模式：每个推理步骤的代码验证，一个学会评估中间思维的偏好模型，以及一个多轮自我进化过程。他们的7b参数模型(使用这些技术)匹配或超过100倍大的模型的性能。

该系统通过在每个步骤中强制明确验证来起作用。每个数学推理都必须表示为正确运行或失败的可执行代码。这引起了一种人为的怀疑，它是一种健康的怀疑主义，可以防止不合理的飞跃。但是，仅验证还不够，该系统还需要学习哪种推理方法比其他方法更好，这是通过其偏好模型所做的。它需要随着时间的流逝而改善，这通过多轮自我训练实现。

RSTAR-MATH的概述。注意已验证的推理轨迹模块。 它的工作方式大致如此：

1. 每个推理步骤都表示为必须正确运行的Python代码的简短片段。

2. 每个步骤的“流程偏好模型”对。

3. 该系统进行了多轮训练，每个迭代都基于最后一个培训解决方案。

我怀疑这种持续的反馈循环迫使较小的模型以可验证的步骤“大声思考”，而不仅仅是猜测。这与我们现在在ML世界 中看到的模式相匹配，重点是通过经过思考的模式来提高性能。 Openai的O1是最突出的例子，但是我报道了许多其他观察类似方法的论文。

表5

表5：最具挑战性的数学基准，RSTAR-MATH和其他Frontier LLM的结果。 RSTAR-MATH64显示在采样64个轨迹时达到的通行证@1的准确性。” - 从纸上。

无论如何，到最后一轮，这种较小的模型显然在数学基准上得分90%，并解决了真正的奥林匹克级AIME问题的53%，足以将其置于前20%的人类参赛者中。我希望这样的结果需要一个具有更多参数的模型。但是RSTAR-MATH表明，如果系统能够验证每个步骤并尽早拒绝故障路径，那么更大并不总是更好。

对我来说，令人兴奋的是这可能会概括。对于数学，代码执行是一个干净的验证信号：代码要么正确地运行，并且输出与部分结果一致，要么没有。在其他领域(例如法律，疫苗研究或创意艺术任务)中，每个步骤都没有明显的是/否测试。但是，我想我们仍然可以创建特定于域的检查或偏好模型，以确定每个推理是否可靠。如果是这样，只要每个推理步骤得到验证，较小的模型就可以在许多专业任务中与较大的模型竞争。

有些人可能会担心基于代码的验证是有限的，也许会问：“我们如何将其扩展到每个问题?”但是我认为我们会看到这种方法的创造性扩展。例如，法律模型可以针对已知先例解析相关的法规或测试论证，并且医学模型可能会咨询知识库或进行标准治疗的模拟。只要我们为正确性构建强大的检查，我们甚至可以将这些想法应用于日常任务。