理论教育 跨域图像识别中基于ResNet的性能分析及适应方法比较

跨域图像识别中基于ResNet的性能分析及适应方法比较

时间:2023-07-01 理论教育 版权反馈
【摘要】:使用Caltech-256数据集作为源域,表示为C256。这3个域均涵盖了31个类别的图像,分别用A31、W31和D31表示。表5.3、表5.4、表5.5和表5.6分别展示了部分域适应方法在Office-31数据集、Office-Home数据集、ImageNet-Caltech数据集和VisDA2017数据集上以ResNet-50为基础网络模型的性能。

跨域图像识别中基于ResNet的性能分析及适应方法比较

1.常用数据集

部分域适应方法通常在图像分类任务上进行实验以验证其有效性。常用数据集有Office+Caltech-10[7]、Caltech-Office[7]、Office-31[8]、Office-Home[9]、ImageNet-Caltech和VisDA2017[10]

Office+Caltech-10数据集有4个域:Amazon、DSLR、Webcam和Caltech。Amazon、DSLR和Webcam这3个域来自Office-31数据集,Caltech域来自Caltech-256数据集[11]。Office+Caltech-10数据集共有10个类,为Office-31数据集和Caltech-256数据集的公共类别。Office+Caltech-10数据集中的Amazon、DSLR、Webcam和Caltech这4个域分别表示为A10、D10、W10和C10。Amazon、DSLR、Webcam和Caltech这4个域的前五个类别(按照字母顺序排序)分别表示为A5、D5、W5和C5。将来自A10、D10、W10和C10的数据作为源域,来自A5、D5、W5和C5的数据作为目标域,共有12个迁移任务:C10→A5、C10→W5、C10→D5、A10→C5、A10→W5、A10→D5、W10→C5、W10→A5、W10→D5、D10→C5、D10→A5、D10→W5。

Caltech-Office数据集由Caltech-256数据集和Office-31数据集构成,是一个大规模数据集。使用Caltech-256数据集作为源域,表示为C256。使用来自Office+Caltech-10数据集中的A10、W10和D10中的一个作为目标域,共有3个迁移任务:C256→W10,C256→A10和C256→D10。

Office-31数据集是面向域适应图像分类的常用数据集,共包括3个域:Amazon、Webcam和DSLR。这3个域均涵盖了31个类别的图像,分别用A31、W31和D31表示。将来自Office-31数据集中的A31、W31和D31中的一个域作为源域,来自Office+Caltech-10数据集中的A10、W10和D10中的一个域作为目标域。因此,共有6个迁移任务:A31→W10、D31→W10、W31→D10、A31→D10、D31→A10、W31→A10。

Office-Home数据集是一个更具挑战性的物品识别数据集,共包括4个域:Artistic、Clipart、Product和Real-world。每个域均涵盖了65个类别的图像,分别用Ar-65、Cl-65、Pr-65和Rw-65表示。将4个域中的类别按照字母顺序排列,取前25个类别,分别表示为Ar-25、Cl-25、Pr-25和Rw-25。采用Ar-65、Cl-65、Pr-65和Rw-65中的一个作为源域,Ar-25、Cl-25、Pr-25和Rw-25中的一个作为目标域,共有12个迁移任务:Ar-65→Cl-25、Ar-65→Pr-25、Ar-65→Rw-25、Cl-65→Ar-25、Cl-65→Pr-25、Cl-65→Rw-25、Pr-65→Ar-25、Pr-65→Cl-25、Pr-65→Rw-25、Rw-65→Ar-25、Rw-65→Cl-25和Rw-65→Pr-25。

ImageNet-Caltech数据集是由ImageNet-1K数据集和Caltech-256数据集构建而成的。两个数据集共有84个共享类别,因此形成了两个迁移任务:ImageNet-1K→Caltech-84和Caltech-256→ImageNet-84。由于大多数网络均在ImageNet-1K数据集上进行预训练,因此使用ImageNet数据集的验证集作为Caltech-256→ImageNet-84迁移任务的目标域。

VisDA2017数据集是一个用于域适应任务的大规模数据集,包括两个域:Real和Synthetic。其中,Real域是真实图像构成的,Synthetic域是由3D模型合成的2D效果图。两个域均涵盖了12个类别,表示为Real-12和Synthetic-12。Real域和Synthetic域的前6个类别(按照字母顺序)表示为Real-6和Synthetic-6。使用Real-12和Synthetic-12中的一个作为源域,Real-6和Synthetic-6中的一个作为目标域,共有两个迁移任务:Real-12→Synthetic-6和Synthetic-12→Real-6。

2.实验结果(www.daowen.com)

表5.1和表5.2分别展示了部分域适应方法在Office+Caltech-10数据集和Caltech-Office数据集上以AlexNet为基础网络模型的性能。表5.3、表5.4、表5.5和表5.6分别展示了部分域适应方法在Office-31数据集、Office-Home数据集、ImageNet-Caltech数据集和VisDA2017数据集上以ResNet-50为基础网络模型的性能。从表5.1~表5.6中可以看出,所有部分域适应方法均高于基础模型(AlexNet或ResNet-50),表明了部分域适应方法的有效性。选择对抗部分域适应方法优于对抗部分域适应方法,表明了使用多个域分类器进行源域和目标域类别对齐的优越性。域对抗强化学习部分域适应在大多数迁移任务上均取得最优的性能,充分验证了强化学习在部分域适应场景下学习挑选样本的优势。

表5.1 部分域适应方法在Office+Caltech-10数据集上的分类准确率[6] 单位:%

表5.2 部分域适应方法在Caltech-Office数据集上的分类准确率[6] 单位:%

表5.3 部分域适应方法在Office-31数据集上的分类准确率[6] 单位:%

表5.4 部分域适应方法在Office-Home数据集上的分类准确率[6] 单位:%

表5.5 部分域适应方法在ImageNet-Caltech数据集上的分类准确率[12] 单位:%

表5.6 部分域适应方法在VisDA2017数据集上的分类准确率[6] 单位:%

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈