根据目标域中所包含的有标签数据情况,迁移学习可以分为[4]监督迁移学习(supervised transfer learning)、半监督迁移学习(semi-supervised transfer learning)以及无监督迁移学习(unsupervised transfer learning)。
1.监督迁移学习
源域数据均为有标签数据,目标域数据有少量标签数据,即,。源域数据与目标域任务并不直接相关。
模型微调(fine-tuning)便是监督迁移学习的一种学习方法,它适用于源域数据和目标域数据都带标签的情况。该方法的思想是使用源域数据训练模型,然后用目标域数据对模型进行微调,因为目标域数据非常有限,因此需要注意避免出现过拟合的现象。为了避免过拟合现象,可采用保守训练的方式。即使用源域数据训练好的模型参数去初始化目标域的新模型,再用目标域数据对新模型进行微调,这个微调的过程要使用保守训练的方法,从结果来看就是使两个模型尽可能相同。保守训练有很多种方法,比如让两个模型的输出尽可能相近;或使用目标域数据进行微调时,仅调整某一层神经网络的参数。具体来说,从源域模型中复制几个参数到新的模型里,然后再利用目标域数据训练没有被复制的参数。由此可以做到每次使用目标域数据训练较少的参数,避免了过拟合的现象。至于要复制哪几层的参数,通常视任务而定。
2.半监督迁移学习
源域数据均为有标签数据,目标域数据没有标签数据或有少量标签的情况,即DS=或者。源域数据与目标域任务并不一定直接相关。(www.daowen.com)
半监督迁移学习有域自适应(domain adaptation)、零样本学习(zero-shot learning,ZSL)的方法。其中,域自适应可以分为三类:基于差异自适应(discrepancy based domain adaptation):利用源域数据与目标域数据的差异来调整源域数据,从而减小域偏差(domain bias),进一步进行域自适应。基于对抗学习自适应(adversarial based domain adaptation):通过对抗判别器(discriminator),生成器(generator)将源域数据和目标域数据在特征空间上对齐,以此学习域不变性的特征,进一步进行域自适应。基于数据重构自适应(reconstruction based domain adaptation):使用数据重构作为辅助任务,以此确保所学到的特征不变,从而进行域自适应。
在零样本学习中,源域和目标域数据分布不同,源域任务与目标域任务也不同。例如,源域任务是识别猫和狗两种动物,而目标域则要求训练出一个能识别羊的分类器。那么如何做到把源域模型迁移到目标域中呢?此时有两种方法,一种方法是用属性表示每个类。这种方法的动机来源于既然没有办法直接预测图片中的物体是什么,就换一种角度,让模型去预测图片中的物体有哪些特征(例如有毛、四条腿、有尾巴等)。此时知道图中物体的特征之后,就可以查询一个人工建立的数据库,便可以得知拥有此特征对应哪种物体。另一种方法是利用属性嵌入(attribute embedding)。具体做法为,把属性和图片映射到同一个嵌入空间(embedding space)中。例如,把一个样本x1通过一个模型f(·)映射到嵌入空间的f(x1),把样本x1的属性通过另外一个模型g(·)映射到嵌入空间的g(x1)。调整f(·)和g(·)的参数,使得f(x1)和g(x1)在嵌入空间中越接近越好。此时若要识别新样本xi的类型,就找到嵌入空间中与f(xi)最接近的属性嵌入g(xi),属性嵌入g(xi)对应的动物就是样本xi所对应的动物。
3.无监督迁移学习
源域数据均为没有标签数据、目标域数据也没有标签数据的情况,即DS={xS1,…,。源域数据与目标域任务并不直接相关。无监督迁移学习的一种学习方法是自主聚类(self-taught clustering)。
免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。