2016年，Hoffman等人[20]首次将域适应方法应用于语义分割任务，提出了基于全局和局部对齐的自适应语义分割方法，如图8.5所示。该方法首先通过像素级域对抗训练，最小化源域和目标域特征分布之间的距离，实现全局域对齐；然后通过将源域类别分布信息传递到目标域，实现局部域对齐。

设IS为源域图像，LS为IS的像素级标注，经过源域数据训练的语义分割模型φS（·），可以得到源域图像像素级分类得分图φS（IS）。无监督域适应语义分割的目标就是学习一个适用于无标注目标域图像IT的语义分割模型。如果源域和目标域之间不存在域偏移，则可以直接将源域数据训练的语义分割模型用于目标域，无须采用自适应方法。然而，在实际应用中，源域与目标域通常存在数据分布差异。这样的分布差异主要来源于：①全局变化，即在两个不同域之间存在特征边缘概率分布的差异；②局部变化，即不同域中的同一类目标存在表观差异。为解决上述全局变化和局部变化，引入两个语义分割损失函数，一个是最小化源域和目标域的全局分布距离的全局域对齐损失Lda（IS，IT），另一个是使用目标域图像IT和从源域传递的类别像素百分比来最小化局部域对齐损失。基于全局和局部对齐的自适应语义分割模型的总体优化目标为

图8.5　基于全局和局部对齐的自适应语义分割方法框架图[20]

注：“类大小分布”代表从源域图像语义标签图中统计出的各类别像素百分比信息

其中，Lseg为使用源域图像和源域像素级标注计算的语义分割损失函数。

1.全局域对齐

在全局域对齐中，使用对抗训练帮助语义分割模型学习域不变的特征表示。对抗训练包含两个交替进行的优化过程：①最小化域分类器D的分类损失，从而区分源域和目标域；②最小化源域和目标域数据分布之间的距离，从而混淆域分类器D，使其无法区分源域和目标域。

设源域样本的域标签为1，目标域样本的域标签为0，用表示域分类器D的预测结果，其中，x表示语义分割网络中像素级分类预测层的前一层输出；σ（·）表示softmax函数。域分类器D的分类损失LD定义为

其中，分别表示给定参数为θ的语义分割网络时，源域和目标域图像在像素级类别预测层的前一层输出在（h，w）处的激活值。(www.daowen.com)

定义对抗域损失，使语义分割模型学习域不变特征表示以混淆域分类器D，使其将目标域样本预测为来自源域，将源域样本预测为来自目标域，即目标域样本的预测域标签为1，源域样本的预测域标签为0。对抗域损失定义为

通过式（8.2）和式（8.3）交替迭代进行如下优化：，来学习最佳域分类器以及最小化源域和目标域之间的距离。

2.局部域对齐

在局部域对齐中，利用源域图像中的分割区域类别统计信息，对目标域图像的语义分割施加多实例约束（constrained multiple instance），从而使得目标域各类区域的像素百分比分布与源域保持一致。对于每个包含区域类别（下面简称类别）c的源域图像，首先计算具有类别c标注的像素占所有类别标注像素数的百分比，称为类别c的像素百分比。然后计算类别c像素百分比直方图，得到包含类别c的所有源域图像中类别c像素百分比排序。将排序在后10％的像素百分比边界值记为αc，平均像素百分比记为δc，排序在前10％的像素百分比边界值记为γc。这样就可以使用源域的各个类别像素百分比分布约束目标域的各个类别像素数量，从而将场景布局信息从源域传递到目标域。例如在一个驾驶场景下，道路通常占据了图像的很大一部分，而路标则占据相对较少的图像空间。这样的约束信息对目标域语义分割是很有指导意义的。当目标域有图像级标注时，对于存在类别c的目标域图像，其类别预测图p=argmaxφ（θ，IT）有以下约束：

这一约束使得目标域图像IT的类别预测图中标记为类别c的像素百分比符合源域中类别c的像素百分比分布。由于这一约束需要目标域的图像级标注，而无监督域适应语义分割中目标域图像没有图像级标注，因此，需要给目标域图像生成图像级标注。

给定目标域图像IT，类别c在类别预测图p中所占的像素百分比dc计算如下：

如果dc＞0.1∗αc，则为图像分配一个类别c的图像级标签。具体的优化细节请参考文献[22]。