Chen等人[20]提出的域适应目标检测方法（domain adaptive Faster R-CNN）是最早使用迁移学习进行目标检测的工作，致力于学习可迁移的目标检测模型。在目标域缺乏标注的情况下，减少源域和目标域之间的域偏移，使得在源域上训练好的检测模型能够在目标域上取得更好的效果。基于协变量偏移（covariate shift）假设[21]，域偏移可以发生在图像级（例如图像尺寸、风格、光照等）和实例级（例如物体的外观，大小等），这启发作者从图像和实例两个层级来减少源域和目标域之间的H-散度[22]。图7.4为域适应目标检测模型框架。该模型分别在图像和实例两级训练域分类器，并采用对抗训练的策略来学习域不变的特征表示。

图7.4　域适应目标检测模型框架[20]

（a）Faster R-CNN；（b）域自适应组件

1.图像级自适应

目标检测任务可以建模为估计后验概率P（C，B|I），其中I是图像，B是目标的边界框，C∈{1，…，K}是目标类别（K是类别总数）。训练样本的联合分布表示为P（C，B，I），源域训练样本的联合分布表示为PS（C，B，I），目标域训练样本的联合分布表示为PT（C，B，I）。源域和目标域之间的数据分布不同，存在域偏移，即PS（C，B，I）≠PT（C，B，I）。

根据贝叶斯公式，联合分布可以分解为

假设源域和目标域的条件概率P（C，B|I）相同，域偏移是由于边缘概率分布P（I）的差异引起的。换言之，对于图像I，不管其来自目标域还是来自源域，其目标检测结果都应当相同。在Faster R-CNN模型中，图像I实际上是卷积层输出的特征图。图像级自适应的目标是使源域和目标域的边缘概率分布尽可能靠近，即PS（I）=PT（I）。

2.实例级自适应

另外，训练样本的联合分布也可以分解为

假设两个域的条件概率P（C|B，I）相同，则源域和目标域之间的域偏移来自边缘分布P（B，I）的差异。这一假设意味着源域和目标域之间的语义是一致的，即对于包含目标的同一个图像区域，不管该图像区域来自哪个域，其类别标签都应该相同。为了减少域偏移，实例级自适应的目标是使得PS（B，I）=PT（B，I）。这里的实例表示（B，I）是指根据目标的边界框真值，从图像区域提取的特征。由于目标域中没有可用的目标边界框标注信息，可以通过边界框生成器（即Faster R-CNN中的区域生成网络）获得P（B|I）。因此，实例表示概率分布P（B，I）可以通过P（B，I）=P（B|I）P（I）得到。

假定对于源域和目标域，其条件分布P（B|I）相同且非零，因此有

这意味着如果两个域的图像表示分布是相同的，那么实例表示分布也是相同的，反之亦然。在实践中，很难完全对齐源域和目标域的边缘分布P（I），且由于只有源域有边界框的标注，所以很难准确估计条件分布P（B|I）。因此，同时进行图像和实例两个层次的域对齐，并使用一致性正则化以减少估计P（B|I）时所产生的偏差。采用域对抗学习，设计域分类器h来度量源域和目标域的分布差异。分类器h的输出h（x）表示x属于目标域的概率，其中x是图像表示I或实例表示（B，I）。(www.daowen.com)

用D表示域分类器预测的域标签，则图像级域分类器输出为P（D|I），实例级域分类器输出为P（D|B，I）。利用贝叶斯定理，可以得到

其中，P（B|I）是域不变边界框预测器，P（B|D，I）是域相关边界框预测器。在实践中，由于目标域没有边界框标注，通过增加约束以使图像和实例级别的域分类器预测一致，即P（D|B，I）=P（D|I），来确保P（B|D，I）逼近P（B|I）。

3.自适应损失

设Di表示第i张训练图像的域标签，Di=0表示源域，Di=1表示目标域。设φu，v（Ii）表示第i张训练图像经过Faster R-CNN卷积层后生成的特征图中（u，v）处的激活值，pi（u，v）表示域分类器对φu，v（Ii）的分类预测，则图像级的自适应交叉熵损失定义为

设pi，j是第i张图像、第j个候选区域的实例级域分类器输出，实例级的自适应交叉熵损失定义为

由于图像级域分类器对卷积特征图上每个激活值预测域标签，因此将特征图中所有激活值对应输出（即域分类概率）的平均值作为该图像属于目标域的概率。一致性正则化项定义为

其中，表示特征图中激活值的总数，是L2距离。

在Faster R-CNN模型中，目标检测任务的训练损失包括区域生成网络的分类器损失和基于ROI的分类器损失，即

区域生成网络的分类器损失和基于ROI的分类器损失都有两个损失项：一项用于预测类别概率的分类损失，以实现正确分类；另一项是边界框坐标的回归损失，以准确定位。区域生成网络的分类器损失和基于ROI的分类器损失的区别在于：前者的分类损失只关于前景和背景分类，与具体目标类别无关。后者的分类损失关于具体目标的分类。域适应目标检测的最终训练损失为

其中，λ为平衡系数，用来平衡目标检测损失和域适应损失。