人工智能置信度高，不代表决策风险低

分类器输出很高的概率，并不自动意味着错误足够少。人工智能系统要据此自动放行或转交人工，既要校准概率刻度，也要验证拒答之后剩余样本的风险，二者解决的是不同问题。

神经网络的分类输出通常由逻辑值经过归一化得到。放大逻辑值之间的差距，可以让最高类别概率更接近一，却未必改变类别排序和实际准确率。训练目标、模型容量与数据分布共同影响这种差距，因此预测正确率与报出的概率并不天然一致。若一组概率接近九成的样本只有七成判对，用这些分数直接估算自动决策风险，就会系统性低估错误数量。

温度缩放是在冻结分类器之后，用独立校准集拟合一个正温度，再将各类别逻辑值统一除以它。温度大于一通常使分布更平缓，小于一则使分布更尖锐。因为同一个正数作用于所有类别，单个样本的最大类别不变，所以这种处理本身不提高分类准确率。它改善的是概率与观察频率的对应关系；若错误来自类别不可分、标签错误或输入缺失，仅调整温度不能恢复判断依据。

校准集必须与训练、最终测试分开，并尽量代表将要服务的数据。评价时可同时查看可靠性曲线和对概率敏感的损失，不能只报一个分箱误差；分箱方式、样本数量和类别比例都可能影响该数值。整体刻度改善，也可能掩盖小群体仍然过度自信。若现场光照或对象类型变化，应重新核查分组表现，不能把旧分布上的校准结果解释为对任意新输入的概率保证。还要区分最大类别概率的校准与每个类别概率的校准，两种统计对象并不相同。若决策依赖某一种缺陷的概率，应直接检查该类别的概率与出现频率，不能用所有最大概率混合后的曲线，替代对目标缺陷的专门核查。

概率校准之后，是否允许系统拒答仍需单独设计。选择性预测把样本分成自动处理和转交复核两部分，覆盖率表示自动处理所占比例，选择性风险表示这些已接受样本的错误程度。提高接受阈值往往减少处理量，但风险是否下降取决于置信度能否把困难样本排在后面。若某类系统性错误始终保持高分，阈值再高也可能优先保留它们，因而不能只凭阈值大小宣称更安全。

对人工智能质检，应在独立评估集上画出风险与覆盖率的关系，并把误放与误拦的成本区分开。统一阈值适合错误代价接近的任务；若某些类别漏检代价明显更高，就需要按业务后果重新设置接受条件。平均校准良好也不等于每个接受区间都低风险，更不等于置信度排序足够有效。概率解释与拒答策略必须分别验证，再共同确定能够自动处理多少样本。

阈值调得很高时，可用于估计风险的接受样本会变少，表面零错误可能只是观察不足。报告应带上接受样本数与统计不确定性，不能用少数成功案例承诺稳定表现。转交队列也需要容量约束：若阈值导致大量样本进入人工，而复核无法及时完成，系统的总体决策延迟仍会失控。验收应在可承受的复核量下确认风险，而不是只选一条漂亮的低覆盖率结果。

可用的置信度需要两次证明：概率刻度能解释实际频率，接受策略能在目标覆盖率下控制错误。让概率与决策各自接受检验，才有依据确定自动化边界。