理论教育 迁移学习方法的总结与分类

迁移学习方法的总结与分类

时间:2023-07-01 理论教育 版权反馈
【摘要】:基于特征的迁移学习可以解决这个问题,它允许迁移学习在一个抽象的“特征空间”中进行,而不是在原始的输入空间中进行。值得一提的是,基于样本的迁移学习方法与基于特征的迁移学习方法不同点在于,前者是直接从实际源域数据中选择与目标域中相近的数据来进行迁移;后者则先通过特征变换把源域、目标域数据变换到同一特征空间,再进行迁移学习。

迁移学习方法的总结与分类

基于上述三种不同配置,迁移学习方法可以总结为以下四大类[4]:基于样本的迁移学习方法(instance based transfer learning)、基于特征的迁移学习方法(feature based transfer learning)、基于模型的迁移学习方法(model based transfer learning)以及基于关系的迁移学习方法(relation based transfer learning)。

1.基于样本的迁移学习方法

基于样本的迁移学习方法是把源域中数据的某一部分通过重定权重(re-weighting)的方法重用于目标域任务的学习。简单来说,就是在源域中找到与目标域相似的数据,调整这些数据的权值,使修改后的数据可以匹配目标域,从而完成相关知识的迁移。例如,假设源域中存在不同种类动物的图片,包括狗、猫、鸟,而目标域只有猫这一种类别的图片。在从源域迁移知识到目标域中时,源域中会有很多对于目标域没有用的狗类、鸟类图片数据。此时便可以人为地增加源域中猫这一类别的样本权重(sample weight),使源域数据与目标域数据分布尽可能一致,以完成对知识的迁移。这样的方法简单、容易实现,但只适用于源域数据和目标域数据相似度较高的情况。

上述例子表明尽管源域数据不能直接重用,但数据的某些部分仍然可以与目标域中的一些标签数据一起重用。由于源域和目标域在分布上的差异,一些源域数据可能对目标域学习有用,但其中一些可能没有用处,甚至可能有害。Dai等[44]提出了一个增强算法,迭代地重估源域数据的权重,以减少“坏”源域数据的影响,同时鼓励“好”源域数据为目标域贡献更多。Jiang和Zhai[45]提出了根据条件概率P(YT|XT)和P(YS|XS)的差值去除“坏”源域数据的方法。Liao等[46]提出了一种新的主动学习方法,利用源域数据选择目标域中未标签的数据标注,以获得关于目标域的辅助信息。

2.基于特征的迁移学习方法

基于样本的迁移学习方法背后的一个常见假设是源域数据和目标域数据具有类似或相同的分布。但是在许多真实场景中,这个假设是无法满足的。例如,根据客户对不同类型产品的评价进行情感分类。在这里,每种类型的产品都可以称为一个域,客户可以使用通用的或域特定的词汇来表达他们的意见。例如,“无聊”一词可以用来表达对电影类数据的负面情绪,但它从不适用于表达对家具域的看法。因此,这意味着一些特征是特定于源(或目标)域的,在相反的域中是不存在的。在这种情况下,重采样本对减少域间数据的差异帮助不大。基于特征的迁移学习可以解决这个问题,它允许迁移学习在一个抽象的“特征空间”中进行,而不是在原始的输入空间中进行。当源域数据和目标域数据含有一些交叉特征时,便可以通过特征变换的方法,使得源域和目标域在某个特征空间下表现出相似的性质。具体来说,用于跨域传输的知识被编码为可学习的特征表示形式,这样便能提高目标任务完成准确度。基于特征的迁移学习方法适用于大多数情况且效果较好,但该方法难于求解,容易发生过拟合问题。(www.daowen.com)

值得一提的是,基于样本的迁移学习方法与基于特征的迁移学习方法不同点在于,前者是直接从实际源域数据中选择与目标域中相近的数据来进行迁移;后者则先通过特征变换把源域、目标域数据变换到同一特征空间,再进行迁移学习。

3.基于模型的迁移学习方法

基于模型的迁移学习方法是从模型的角度出发,共享源域模型与目标域模型之间的某些参数以达到迁移学习的效果。也就是说,将之前在源域中通过大量数据训练好的模型应用到目标域中进行预测。根据共享参数的不同假设,提出了各种基于模型的迁移学习算法,包括层次贝叶斯模型和深度强化学习。例如,利用上千万张图像训练一个图像识别的系统,该系统的任务是可以正确识别出猫类的图像。当遇到一个新的图像域问题时,比如要训练出一个模型用来识别老虎的图像,此时就不用再去找几千万张老虎的图像来重新训练了,只需把原来训练好的模型迁移到新的域,在新的域往往只需几万张图像就同样可以得到很高的精度。因为模型的前几层只是训练出图像一些通用图案,比如圆脑袋、有眼睛、有动物皮毛、垂直黑色花纹等,因此“旧”的模型也适用于新域的任务。基于模型的迁移学习方法比较直接,优点在于可以充分利用模型间的相似性,实现跳跃启动、提高学习速度,缺点在于模型参数不易收敛。

4.基于关系的迁移学习方法

基于关系的迁移学习方法是通过利用两个域之间的相关性知识建立一个映射来达到迁移学习的效果。源域和目标域相似,那么它们之间也会共享某种相似关系,此时可以把从源域中学习到的逻辑网络关系迁移到目标域上。例如师生关系可以迁移至上下级关系,生物病毒传播规律可以迁移至计算机病毒传播规律。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈