人工智能离线策略为何高估？价值如何验？

只用历史日志训练控制策略，模型可能偏爱从未被可靠验证的动作。人工智能离线强化学习要先控制价值函数对陌生动作的高估，再判断旧轨迹是否足以支持新策略的收益评估。

离线训练不能主动执行动作来纠正估计，因此价值更新中的最大化操作格外敏感。历史控制器只在有限状态下尝试过部分动作，函数逼近却会给其他动作也输出数值。如果某个缺乏数据支撑的动作被偶然赋予高价值，后续自举目标就可能选中它，并把这个乐观估计继续传播。训练损失可以下降，策略却逐渐转向数据没有覆盖的区域，日志拟合良好与真实控制有效并不是同一件事。

以工艺温度调节为例，日志可能只记录围绕稳定设定的小幅调整。策略若根据外推价值选择大幅升温，历史轨迹中就没有足够证据说明它会带来高收益。动作在数值上落入设备允许范围，也不代表它处于训练数据支持范围；物理可执行性与统计可验证性必须分开。应先检查目标状态附近的动作覆盖，而不能用整个日志出现过相同动作，替代条件分布下是否有足够样本的判断。

保守价值学习会对缺乏支持的高价值施加约束，使优化不轻易利用这些乐观估计；行为约束则让新策略更接近日志策略。前者不应被解释为所有状态动作的价值都必然是真实下界，理论保证仍依赖具体目标与假设。保守程度过强也可能拒绝数据支持的改进动作，因此应依据覆盖程度调节约束，并与模仿历史行为的基线比较，确认收益不是来自任意外推。训练时还应检查终止标记的含义，真正结束的过程与日志因采集时长而被截断的过程，不能一律取消后续价值。否则价值目标会受到记录方式影响，使同一控制行为仅因截断位置不同就被估成不同收益。

得到候选策略以后，直接平均旧轨迹奖励只能描述收集日志的策略。重要性采样通过目标策略与行为策略的动作概率比，对轨迹贡献重新加权，试图估计换成新策略后的表现。它要求相关状态下目标策略选择的动作在行为策略中具有非零概率；若旧控制器从未尝试某类动作，单靠重加权无法创造反事实结果。行为概率未被记录时，重新估计它本身也会带入误差。

长轨迹会使概率比连乘，少数高权重样本可能主导估计，表现为结果对个别轨迹极端敏感。截断权重能够降低方差，却引入偏差；归一化也不能恢复完全缺失的支持。人工智能策略评估应同时报告有效样本量、权重分布和不确定区间，并按完整轨迹划分数据。把同一次运行的相邻转移拆到训练与评估两侧，会让模型误差看似更小，却没有增加独立证据。

双重稳健方法把价值模型估计与重加权修正结合，在相应条件下可降低对单一路径的依赖，但不能消除支持缺失，也不能补救错误的状态表示。若日志没有记录影响动作和后果的关键变量，概率模型即使拟合很好也可能无法可靠比较策略。上线前应明确哪些区域证据充分、哪些区域只能保守限制；当评估区间宽到无法区分候选与基线时，应承认日志尚不能证明改进。

离线策略的可信度取决于数据支持。先阻止价值学习利用陌生动作，再检验收益估计的支持条件与方差，才能区分策略进步和外推造成的虚高。