理论教育 网络自适应迁移性能分析

网络自适应迁移性能分析

时间:2023-07-01 理论教育 版权反馈
【摘要】:③在对比的自适应迁移方法中,残差迁移网络取得了最优的性能,其主要原因是残差迁移网络通过设置残差模块进行了分类器层面的迁移,同时在端到端的残差学习框架中进行特征表示对齐,进一步减少了域偏移。表4.8的结果表明:残差迁移网络依然取得了最好的性能。

网络自适应迁移性能分析

1.常用数据集

Office-31数据集[35]是面向域适应图像分类的常用数据集,包括3个域:Amazon(A)、DSLR(D)和Webcam(W)。Amazon域中的图像来自亚马逊官网,共有2 817张图像。DSLR域包含了498张由数码单反相机拍摄的高分辨率图像。Webcam域包含了795张由网络摄像机拍摄的低分辨率图像。该数据集的3个域均包含31个类别,共计4 110张图像。

ImageCLEF-DA数据集[36]是域适应挑战赛ImageCLEF 2014的基准图像数据集。该数据集包含3个域:Caltech-256数据集(C)[37]、ImageNet ILSVRC 2012数据集(I)[38]和Pascal VOC 2012数据集(P)[39]。所有域共享12个常见物体类别,每类包含50张图像。因此,每个域有600张图像,整个数据集共计1 800张图像。

Office-Caltech数据集由Office31数据集和Caltech-256数据集中的10个共享类别的图像组成。这些图像来自4个域:Amazon(A)、DSLR(D)、Webcam(W)和Caltech(C),构成了该数据集的源域。目标域则是采用这四个域中前五个类别的图像。

2.实验结果

表4.6展示了4.3.2小节介绍的三种神经网络自适应迁移方法在Office-31图像数据集上的分类性能。实验中,采用了AlexNet和ResNet作为基础网络。在Office-31数据集上定义了6个迁移任务:A→W,D→W,W→D,A→D,D→A,W→A,其中A→W表示源域为Amazon(A),目标域为Webcam(W),以此类推。在表4.6中,“AlexNet”和“ResNet”分别表示直接将源域数据训练的AlexNet和ResNet模型应用于目标域分类,属于无迁移方法。

表4.6 神经网络自适应迁移方法在Office-31数据集上的分类准确率[34] 单位:%(www.daowen.com)

从表4.6中可以发现:①网络自适应迁移方法性能都明显优于基础网络模型(AlexNet和ResNet),表明在神经网络中加入自适应层对于模型的迁移是十分有效的。②深度适应网络的性能优于深度域混淆自适应方法,这说明多层自适应学习有利于增强模型的迁移能力,同时也验证了多核最大均值差异度量域分布差异的优越性。③在对比的自适应迁移方法中,残差迁移网络取得了最优的性能,其主要原因是残差迁移网络通过设置残差模块进行了分类器层面的迁移,同时在端到端的残差学习框架中进行特征表示对齐,进一步减少了域偏移。④基于ResNet的方法整体优于基于AlexNet的方法,这验证了深层卷积网络不仅可以学到更好的特征表示,还具有更强的可迁移性。

表4.7展示了深度适应网络和残差迁移网络在ImageCLEF-DA数据集上的图像分类性能。ImageCLEF-DA数据集上定义了6个迁移任务:I→P,P→I,I→C,C→I,C→P,P→C,其中I→P表示源域来自ILSVRC 2012数据集,目标域来自Pascal VOC 2012数据集,以此类推。ImageCLEF-DA数据集中的3个域大小相等,各个域的数据分布更为平衡。从表4.7可以看到,残差迁移网络的性能在大多数迁移任务上优于其他方法。

表4.7 神经网络自适应方法在ImageCLEF-DA数据集上的分类准确率[34] 单位:%

表4.8展示了神经网络自适应迁移方法在Office-Caltech数据集上的图像分类性能。Office-Caltech数据集上定义了12个迁移任务,比Office-31数据集增加了6个迁移任务:A→C,W→C,D→C,C→A,C→W,C→D,其中A→C表示源域为Amazon,目标域为Caltech,以此类推。表4.8的结果表明:残差迁移网络依然取得了最好的性能。尤其在一些源域和目标域之间域偏移较大的困难迁移任务上,如A→W和C→W,残差迁移网络明显提高了模型的迁移能力,再次验证了同时进行特征表示和分类器迁移的有效性。

表4.8 经典神经网络自适应迁移方法在Office-Caltech数据集上的分类准确率[33]

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈