1.迭代分配变换开集域适应方法

Busto等人[13]首次提出了开集域适应任务，该任务关注于当源域与目标域的类别空间中都存在外部类别时，使源域模型适应于目标域任务。针对这一任务，提出了迭代分配变换（assign-and transform-iteratively，ATI）开集域适应方法。该方法不但适用于开集域适应，而且还适用于传统的闭集域适应。

迭代分配变换开集域适应包含以下两个步骤。①分配：使用源域样本训练的分类器，对目标域样本预测标签；②变换：根据目标域样本的分类结果，将源域样本的特征变换到目标域特征空间，并根据变换后的源域样本特征更新分类器，再根据更新后的分类器重复分配步骤，交替迭代分配和变换两个步骤直至收敛。此外，在分配步骤中设计了一个隐式离散样本处理模块，将仅属于目标域外部类别的样本分离，从而学习属于相同类别的源域与目标域样本之间的变换。

迭代分配变换开集域适应方法可以用在无监督域适应和半监督域适应中，其中的目标域样本标签预测步骤在这两种情况下略有不同。

1）无监督域适应中的标签预测

在无监督域适应场景下，给定n个已标注样本构成的源域，和m个未标注样本构成的目标域和分别是源域样本和目标域样本的特征表示，∈RD且。Ys表示源域类别集合，Yt表示目标域类别集合，源域和目标域存在一部分共享类别，同时又拥有各自特有的类别，称之为外部类别，即Ys∩Yt≠Ø且Ys∩Yt≠Ys≠Yt。给定大小为K的类别集合，前K-1个类别表示共享类别，即，用第K个类别表示外部类别，将所有属于外部类别的样本分类到这一类别。给定第j个目标域样本，该样本与源域第k个类别之间的距离定义为

其中，Sk∈RD是属于第k个类别的所有源域样本的平均特征向量，Tj∈RD是目标域样本的特征向量。

根据定义的距离函数，针对样本的优化目标为

其中，ukj与oj是分配任务中设定的两个二元变量。当ukj=1时，目标域样本被预测为第k类；当ukj=0时，样本未被预测为第k类。当oj=1时，目标域样本被预测为第K类（即外部类别）；当oj=0时，目标域样本未被预测为第K类。为平衡参数，其值可以根据dkj的值自动进行调整。因此，总体优化目标是

同时要满足以下约束

第一个约束式（5.33）的含义是保证目标域样本一定被预测为某一共享类别或者被预测为外部类别。第二个约束式（5.34）的含义是确保每个类中至少有一个目标域样本被分配为该类。

2）半监督域适应中的标签预测

以上针对无监督域适应提出的类别标签预测方法也同样适用于半监督适应。在半监督开集域适应中，目标域有部分已标注的样本。为了将已标注的目标域样本充分利用，在无监督开集域适应的优化目标函数中添加以下约束以使已标注目标域样本的标签保持不变：

其中，表示目标域中已标注样本的类别标签。此外，离目标域样本最近的邻居样本也加入了样本所在的训练集中参与分类器的学习，来进一步提高样本的分类精度。如果一个邻居样本被预测为与样本不同的类别，则将源域中这两个类别相应的平均特征之间的距离作为优化目标中的一项损失。因此，半监督开集域适应的优化目标定义为

其中，Nt为目标域样本的邻居样本数量。

3）源域到目标域的变换

在完成目标域样本的类别标签预测之后，需要学习从源域特征到目标域特征的变换。该方法用二维矩阵W∈RD×D来表示源域特征到目标域特征的线性变换，并通过最小化下列损失函数来估计W：

4）对目标域分类

在完成对变换W的估计之后，就要将源域样本变换到目标域。该方法在分配和变换这两个步骤交替迭代直至收敛。之后使用变换后的源域样本训练线性支持向量机（linear SVMs，LSVM），来完成对目标域样本的分类。

2.反向传播开集域适应方法

在前面介绍的迭代分配变换开集域适应方法中，源域外部类别中的样本也参与到了目标域分类器的学习。Saito等人[17]提出了基于反向传播的开集域适应。该方法假设源域外部类别中的样本不存在或不可访问，进一步放宽了开集域适应的限制。其主要特点包括以下几方面：其一，该方法在训练中没有使用源域外部类别中的样本，在实际应用中其适用范围更广。其二，反向传播开集域适应使用了对抗学习策略，使特征提取器在对齐源域和目标域属于共享类别样本的同时，将属于未知类别的样本挑选出来不进行对齐，从而在类别空间不同的情况下学习域不变的特征表示。

1）模型结构

给定n个已标注样本构成的源域和m个未标注样本构成的目标域Dt=，其中，和分别为源域样本和目标域样本的特征表示。用Ys和Yt分别表示源域类别集合和目标域类别集合。不同于迭代分配变换开集域适应方法中源域和目标域均存在外部类别，反向传播开集域适应方法假定源域不存在外部类别、目标域存在外部类别，也就是源域类别集合是目标域类别集合的子集，即Ys⊂Yt。该方法的目标是将属于已知类别的目标域样本正确分到相应的类中，并将所有属于外部类别的样本分到一个类别，称之为未知类别。

反向传播开集域适应方法的模型结构如图5.7所示。特征提取器F用于提取源域样本或目标域样本的特征表示，分类器C的输入是样本的特征表示，输出是样本的类别概率分布，是一个K+1维的向量{l1，l2，l3，l4….lk+1}，其中，前K维表示样本被分到与源域共享的的K个类别的概率，第K+1维表示样本分类到外部类别的概率。分类器C将样本x分类为第j个类别的概率定义为

当1≤j≤K时，p（y=j|x）是分类器输出向量的第j维，表示将样本x预测为共享类别中第j个类别的概率。当j=K+1时，p（y=j|x）是分类器输出向量中的第K+1维，表示将样本x预测为外部类别的概率。

图5.7　反向传播开集域适应方法的模型结构[17]

2）模型训练(www.daowen.com)

给定源域样本及其类别标签，采用标准交叉熵损失作为分类损失来优化特征提取器F和分类器C，从而学习具有判别性的特征表示，分类损失定义为

其中，是分类器C输出的第维，表示分类器C预测的样本属于第个类别的概率。

为了减少源域和目标域之间的分布差异，采用对抗学习的方式训练分类器和特征提取器。分类器致力于将目标域样本正确分类（即将已知类别分到前K个类别，将未知类别分到第K+1个类别）。特征提取器致力于通过最大化分类器的损失来混淆分类器，使其无法正确分类。当训练分类器输出时，特征提取器在最大化分类器误差的时候便只能选择降低的值，即将所有的目标域样本都分到前K个类别，使得目标域分布与源域分布完全匹配。为了将已知的目标样本正确地分到相应的类别中，同时将未知的目标样本识别为未知类别，训练分类器输出。特征提取器在最大化分类器误差的时候，可以选择将该样本分类到第K+1个未知类别，即使的值大于t，也可以选择将该样本分类到前K个已知类别，即使p（y=K+的值小于t。根据上述思想，给定目标域样本，分类器和特征提取器的对抗损失定义为

结合分类损失，反向传播开集域适应方法的总体优化目标为

通过梯度反转层实现特征提取器F与分类器C的对抗训练以对齐源域和目标域的数据分布。

3.语义差异匹配开集域适应方法

语义差异匹配开集域适应方法[19]将零样本学习的策略用于域适应中，从而不仅对属于共享类别的目标域样本分类，同时将属于外部类别的目标域样本也进行分类。该方法通过图卷积网络（graph convolutional network，GCN）将已知类别的分类规则传播至未知类别，对属于未知类别的目标域样本进行分类。同时，采用语义引导匹配差异来度量源域与目标域之间的域偏移，最小化源域和目标域之间的分布差异。

1）模型结构

语义差异匹配开集域适应方法的设定与反向传播开集域适应方法相同，即源域类别空间是目标域类别空间的子集。图5.8为语义差异匹配开集域适应方法的框架图。该方法共包括一个双分支参数共享的分类网络和一个用于将源域中已知类别的分类规则传播到目标域中未知类别的图卷积网络。首先使用图卷积网络来生成目标域中未知类别的语义嵌入，通过这些语义嵌入来初始化分类网络中的分类器层。之后，根据源域样本和目标域样本的特征表示，利用语义引导匹配差异度量域偏移，并设计了有限平衡约束用于平衡目标域未知类别和已知类别的分类损失。分类网络和图卷积网络以端到端的方式进行联合训练来减少语义引导匹配差异，从而在类别空间不匹配的情况下学得域不变的特征表示。分类网络包括参数共享的特征提取器F和参数共享的目标域分类器Ct。

图5.8　语义差异匹配开集域适应方法的框架图[19]

2）生成语义嵌入

利用词向量和知识图中的辅助信息，可以通过图卷积网络，根据已知类别的语义嵌入生成未知类别的语义嵌入。首先构建一个包含N个节点的图，每个节点表示一个类别，使用类名的词向量进行初始化。为了将已知类别的语义嵌入传播到未知类别，需要额外的节点来构建从已知类别到未知类别的完整路径。因而采用知识图（如面向语义的词间关系数据库，WordNet[20]）来构建类别间的关系，以对称邻接矩阵的形式进行编码。在该图上进行图卷积操作，定义为

其中，A∈RN×N表示邻接矩阵，X∈RN×C由N个词向量组成，表示图卷积网络的参数，σ（·）表示非线性激活函数，D∈RN×N表示度矩阵且满足。通过训练图卷积网络来预测已知类别的分类器权重，并根据词向量所体现的语义关系生成未知类别的分类器权重。训练图卷积网络的损失函数Linit定义为

其中，是源域样本的类别总数；是通过提取在源域上预训练的分类器权重而获得的分类器权重。之后将预训练的ResNet网络中的分类器替换为图卷积网络生成的分类器，从而形成初始化的分类网络。

3）语义引导匹配差异

在类别空间不匹配的情况下，采用语义引导匹配差异来度量源域和目标域的距离。根据源域和目标域所有样本的特征表示，构造两个域之间的二分图，二分图的权重是样本之间的L1距离。通过匈牙利算法，获得源域和目标域之间的粗糙有噪声的匹配实例对。然后通过语义一致性来过滤噪声。具体来说，给定匹配实例对，即源域样本和目标域样本，通过特征提取器F获得其特征表示和，并计算样本的分类器响应值。那么，语义引导匹配差异定义为

其中，是源域样本特征与目标域样本特征之间的距离。是指示函数，τ是给定的阈值。当与的相似性大于τ时，指示函数为1，否则为0。表示内积，相似性揭示了匹配实例对之间的语义一致性程度。

4）有限平衡约束

为了避免属于外部类别的目标域样本被分类到共享类别，语义差异匹配开集域适应方法为目标域的分类器响应添加平衡约束。相关的平衡约束首先在文献[21]中被提出，定义为

其中，表示目标域的类别数，前个为与源域共享的类别。由于目标域没有标注，式（5.48）定义的平衡约束可能会出现较大的值，这将导致将目标域样本都分到未知类别中。因此，语义差异匹配开集域适应方法采用了有限平衡约束，定义为

其中，w为常数，用于控制将目标域样本分类到外部类别的分类响应比率，理想情况下可以根据未知类别占所有类别的比例来设置。

5）保持语义结构

为了在最小化语义引导匹配差异的同时保持不同类别之间的语义结构，需要将图卷积网络嵌入整个网络的训练过程中。不同于生成语义嵌入时对源域的已知类别进行约束，此时需要将目标域所有类别的语义嵌入都考虑在损失项中。该损失函数Lgcn定义为

其中，是从目标域分类器Ct中提取的权重。

语义差异匹配开集域适应方法的总体损失函数为

其中，Lcls为源域的分类损失函数，λb、λd、λg为平衡系数。