Cityscapes 语义分割：城市街景理解的基准与技术演进(二)

基于 Cityscapes 数据集的语义分割技术演进，反映了计算机视觉在密集预测领域的整体发展脉络，从早期的全卷积网络（FCN）到深度分离卷积与空洞卷积的结合，再到 Transformer 架构的引入，每一次技术突破都在 Cityscapes 基准上得到验证与量化。早期的语义分割方法以 FCN 为代表，其通过将全连接层替换为卷积层，实现了端到端的像素级分类，在 Cityscapes 上首次实现了自动化的城市街景语义分割，但由于仅使用单一尺度特征，对小目标（如远处的行人、交通标志）的分割精度较低，且对边界的处理粗糙，精细标注测试集上的 mIoU（交并比，语义分割的核心评价指标）仅约 60%。

为解决多尺度目标分割问题，特征金字塔网络（FPN）与编码器 - 解码器结构被广泛应用。编码器通过卷积与池化操作提取多尺度特征（浅层捕捉细节，深层捕捉语义），解码器通过上采样与跳跃连接融合不同层级特征，使模型既能识别大尺度目标（如建筑），又能定位小目标（如交通灯）。U-Net 及其变体是这一结构的典型代表，在 Cityscapes 上通过融合多尺度特征，将 mIoU 提升至 65%-70%，尤其对道路、建筑等 stuff 类目标的分割精度显著提高。

DeepLab 系列算法的引入进一步推动了性能提升，其核心创新在于空洞卷积（Atrous Convolution）与条件随机场（CRF）的结合。空洞卷积通过在卷积核中引入空洞（即扩大感受野而不降低分辨率），使模型在保持细节的同时捕捉全局上下文，特别适合城市街景中大面积区域（如道路、天空）的分割；CRF 作为后处理步骤，通过建模像素间的依赖关系（如相邻像素更可能属于同一类别），细化分割边界，解决了 FCN 输出的 “块状效应”。DeepLab v3 + 在 Cityscapes 上的 mIoU 突破 75%，成为当时城市街景语义分割的基准模型。

近年来，Transformer 架构凭借其强大的全局上下文建模能力，在 Cityscapes 上实现了新的突破。Vision Transformer（ViT）将图像分割为 patches 并通过自注意力机制捕捉长距离依赖，能够更好地处理城市场景中目标的复杂空间关系（如车辆与道路的位置关联、行人与斑马线的交互）。SegFormer、Mask2Former 等基于 Transformer 的方法，通过结合卷积的局部特征提取与 Transformer 的全局建模，在 Cityscapes 测试集上的 mIoU 达到 85% 以上，尤其对小目标（如交通标志）与复杂背景（如拥挤的行人）的分割精度提升显著，证明了全局上下文信息对城市街景理解的重要性。

Cityscapes 语义分割的核心挑战源于城市环境的动态性与复杂性，这些挑战既是算法改进的驱动力，也是衡量技术实用性的关键指标。小目标与稀疏类别分割精度不足是最突出的问题之一 —— 城市街景中，远处的行人、交通灯、垃圾桶等小目标仅占少数像素，且在训练数据中出现频率低（稀疏类别），导致模型难以学习其判别特征。例如，Cityscapes 中的 “交通信号灯” 类别在精细标注数据中占比不足 1%，现有方法对其分割的 mIoU 通常低于 50%，远低于 “道路”（mIoU 约 90%）等高频类别。