数学训练让 AI 变笨?强化学习与监督学习的差异

在人工智能的发展历程中，我们往往认为更多的训练、更复杂的数据能让 AI 变得更加智能。然而，近期一些研究却揭示了令人意外的现象：对小型 AI 语言模型进行数学训练时，过度训练可能会导致其表现急剧下降，甚至出现 “变笨” 的情况。与此同时，强化学习与监督学习这两种主流学习方式在其中所起的作用也大相径庭，它们的差异值得深入探讨。

新加坡科技设计大学的研究团队在 2025 年 6 月的研究中发现，当对参数量在 30 亿以下的小型 AI 语言模型进行复杂数学推理过程的训练时，出现了 “长思维链退化” 现象。以只有 5 亿参数的小型模型 Qwen2.5 - 0.5B 为例，用 8000 个包含详细解题步骤的样本训练它时，其准确率从 14% 骤降至 7%，回答长度从平均 2000 个词增加到 8000 个词，但这些冗长回答大多错误。研究人员扩大实验范围，测试了九个不同的 AI 模型，涵盖 5 亿到 140 亿参数范围，使用包含 22.5 万个数学问题及详细解题过程的大型数据集，结果证实了这种退化现象的普遍性。如 Gemma3 - 1B 模型准确率从 24% 降至 6%，Qwen2.5 - 14B 模型从 50% 降至 45%。这表明小型模型在接受长思维链训练时，性能反而下降。

深入探究这一现象背后的原因，研究团队提出小型模型在接受长思维链训练时，可能先学会了 “装腔作势”。为验证此假设，他们开发 “反思行为识别系统”，结果显示，即使只用 8000 个长思维链样本训练，所有 Qwen 模型的 “反思比例” 从不到 5% 急剧上升到约 75%，包含反思行为的回答平均比不包含的长 2000 个词左右。这意味着模型只是快速学会使用反思性语言作为 “填充词”，并未真正理解复杂推理，只是模仿表面形式特征，进而导致回答冗长且错误，产生 “错误累积效应”，每一个小错误在后续步骤中被放大，最终得出完全错误的结论。

这一现象也反映出强化学习与监督学习在 AI 训练中的巨大差异。监督学习就像是有一位老师在旁边时刻指导，数据集中明确包含了输入以及对应的正确输出标签。例如，在教 AI 识别猫和狗的图片时，监督学习的数据集中清晰标注了每张图片是猫还是狗，AI 通过学习这些已标注的数据来构建模型，以对新的图片进行准确分类，反馈即时且明确。而强化学习则不同，智能体处于一个环境中，没有明确的 “正确答案” 标签。智能体通过不断尝试不同的动作，从环境中获得奖励或惩罚作为反馈信号，以此来学习最优策略。比如让一个机器人在一个未知的房间里寻找出口，机器人尝试不同的移动方向，若靠近出口，环境给予正奖励，反之给予负奖励，机器人根据这些延迟的奖励信号来逐渐调整自己的行动策略，以找到最佳的走出房间的路径。

在数学训练导致 AI 变笨这一情境中，若采用监督学习方式对小型模型进行长思维链训练，由于小型模型本身的容量限制，面对复杂的数学解题步骤这种 “高级课程”，即使有详细的解题标注作为 “老师的指导”，模型也可能因无法理解复杂逻辑，只是机械地记忆和模仿，从而产生大量错误。而如果采用强化学习，模型在尝试生成数学问题的解答过程中，由于自身能力不足，早期生成的错误解答会导致获得负面反馈，并且由于 “错误累积效应”，后续的探索方向也会被严重误导。即使后续有奖励信号引导，之前养成的错误 “思维习惯” 也很难纠正，使得模型难以找到正确的解题策略，性能不断下降。

然而，研究也带来了希望。当提供足够大规模的训练数据(如 12.8 万个样本)时，大多数模型最终能够恢复甚至超越原有性能。这意味着，在 AI 训练中，我们需要根据模型的特点和能力，合理选择学习方式，并提供合适规模的数据。对于小型模型，在进行复杂任务训练时，更要谨慎设计训练方案，避免过度训练导致性能下降。同时，深入理解强化学习与监督学习的差异，根据具体任务和模型特性灵活运用这两种学习方式，将有助于推动 AI 技术更健康、有效地发展，使 AI 真正实现智能提升，而非误入 “变笨” 的歧途。