为验证基于全局和局部对齐的域适应语义分割方法的有效性,采用4个数据集,在3个不同的迁移任务上进行实验。所有实验均以全卷积网络为基准模型。具体的迁移任务有:①从合成图像到真实图像的域适应语义分割,即合成→真实,以GTA5数据集和SYNTHIA数据集为源域,以Cityscapes数据集为目标域;②不同季节图像之间的域适应语义分割,即跨季节,以季节x的SYNTHIA数据集为源域,以季节y的SYNTHIA数据集为目标域(其中x和y为不同的季节);③不同城市图像之间的域适应语义分割,即跨城市,以城市x的Cityscapes训练集为源域,以城市y的Cityscapes验证集为目标域(其中x和y为不同的城市)。
1.合成→真实
表8.1展示了基于全局和局部对齐的域适应语义分割方法GTA5→Cityscapes和SYNTHIA→Cityscapes任务上的性能。从表8.1中可以看出,即使存在着巨大的域偏移,该方法仍能够明显提高源域分割模型在目标域上的性能。在GTA5→Cityscapes任务上,“GA”(即全局域对齐)的准确率相比于“Dialation Frontend”[24]提高了4.4%。当增加“CA”(即局部域对齐),准确率进一步提高了1.6%。在SYNTHIA→Cityscapes任务上,“GA”和“GA+CA”的准确率也有类似的提升。这些结果表明,全局域对齐和局部域对齐在跨域语义分割中的有效性。
表8.1 基于全局和局部对齐的自适应语义分割方法在“合成→真实”任务上的性能[20]
注:“GA”表示全局域对齐,“CA”表示局部对齐。
2.跨季节
对于跨季节的域适应语义分割,通常使用有季节标注的合成图像数据集SYNTHIA进行实验。将每个季节图像集定义为一个域,分别在六种不同域组合之间进行分割模型迁移,即夏季→秋季、秋季→夏季、夏季→冬季、冬季→夏季、秋季→冬季、冬季→秋季。表8.2为基于全局和局部对齐的域适应语义分割方法在跨季节任务的分割性能,可以看到该方法在跨季节任务上获得了约3%的平均准确率提升。图8.13为基于全局和局部对齐的域适应语义分割方法在秋季→冬季任务上的语义分割结果示例。结果表明,即使在源域和目标域存在较大表观变化的情况下,该方法依然能够取得比较理想的分割结果。
表8.2 基于全局和局部对齐的域适应语义分割方法在跨季节任务上的性能[20] 单位:%(www.daowen.com)
图8.13 基于全局和局部对齐的域适应语义分割方法在秋季→冬季任务上的分割结果示例[20]
(a)秋季图像;(b)冬季图像;(c)自适应前;(d)自适应后;(e)真实标注
3.跨城市
表8.3展示了基于全局和局部对齐的域适应语义分割模型在Cityscapes数据集跨城市任务上的分割结果。可以看到相比于局部对齐,全局对齐对提升模型性能的作用更大。
表8.3 基于全局和局部对齐的域适应语义分割方法在跨城市任务上的性能[20]
“GA”表示全局域对齐,“CA”表示局部域对齐。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。