加权最小二乘(上)

加权最小二乘（Weighted Least Squares, WLS）作为经典最小二乘方法的关键扩展，通过为不同观测数据赋予差异化权重，解决了传统最小二乘对 “异方差噪声” 数据处理的局限性，成为数据拟合、参数估计与系统优化领域的基础工具。在实际场景中，观测数据的可靠性往往存在显著差异 —— 例如，在环境监测中，近距离传感器的污染物浓度测量误差远小于远距离传感器；在电商销量预测中，近期销售数据对未来趋势的参考价值高于远期数据。传统最小二乘将所有数据 “同等对待”，会导致估计结果过度偏向噪声大、可信度低的样本，最终影响结论的准确性。WLS 的核心创新在于通过权重调整，让可靠数据在优化过程中占据更高 “话语权”，使估计结果更贴合数据的真实分布规律。自高斯 - 马尔可夫定理证实特定权重设计下 WLS 可实现 “最优线性无偏估计” 以来，这一方法的理论体系不断完善，应用场景也从传统的统计分析拓展至计算机视觉、自动驾驶、信号处理等复杂领域，成为连接理论优化与工程实践的重要桥梁。本文将从理论逻辑、核心技术、跨领域应用及未来方向四个维度，系统阐述 WLS 的价值与演进，展现其作为基础优化框架的普适性与灵活性。

WLS 的理论逻辑源于对传统最小二乘局限性的突破，其核心是通过权重分配实现 “残差的合理分配”。传统最小二乘的核心假设是 “所有观测数据的噪声方差一致”（即同方差性），在此假设下，通过最小化所有数据与模型预测值的 “残差平方和”，可得到较为可靠的参数估计。但在实际应用中，这一假设往往不成立 —— 例如，在医学检测中，不同批次试剂的检测误差可能存在显著差异；在图像特征提取中，图像边缘区域的特征点检测精度低于中心区域。当数据存在 “异方差性”（噪声方差不一致）时，传统最小二乘的估计结果会失去 “最小方差” 特性，甚至出现明显偏差。WLS 通过引入 “权重矩阵”，将优化目标从 “残差平方和” 调整为 “加权残差平方和”，本质上是为每个数据样本分配一个 “贡献系数”：噪声小、可信度高的样本赋予高权重，使其对参数估计的影响更大；噪声大、可信度低的样本赋予低权重，降低其对结果的干扰。这种调整使优化目标更贴合数据的实际可靠性分布，最终提升参数估计的精度与稳定性。

权重设计是 WLS 实践应用的核心，其合理性直接决定优化效果，而权重的确定需结合数据特性、噪声规律与领域先验知识综合判断。最理想的权重设计基于对数据噪声方差的精确掌握 —— 若已知每个样本的噪声大小，通常将权重设定为噪声方差的倒数，即噪声越小，权重越大，这一设计可严格满足 “最优线性无偏估计” 的理论条件。但在多数场景中，噪声方差难以直接测量，此时需通过 “数据驱动” 或 “经验判断” 间接确定权重。例如，在回归分析中，可先通过传统最小二乘得到初步参数估计，再根据每个样本的残差大小（残差越大，说明噪声可能越大）反向推导权重；在计算机视觉的相机标定中，基于 “图像中心区域畸变更小” 的先验知识，直接为中心区域的特征点赋予更高权重，边缘区域特征点赋予较低权重。此外，“自适应权重设计” 在动态场景中应用广泛，例如在机器人导航的参数估计中，可根据实时观测数据的残差变化动态调整权重：当某一传感器的观测残差突然增大（可能出现故障或干扰）时，临时降低该传感器数据的权重，避免其对导航精度产生剧烈影响。权重设计需避免两个常见问题：一是 “极端权重”，即部分样本的权重过大或过小，导致优化结果过度依赖少数样本或忽略关键信息，通常通过设置权重上下限缓解；二是 “权重与模型不匹配”，例如在噪声存在相关性的场景中，若仍采用仅反映单个样本可靠性的 “对角权重矩阵”，会忽略样本间的噪声关联，此时需调整权重矩阵结构以适配噪声特性。