理论教育 基础研究问题:迁移学习

基础研究问题:迁移学习

时间:2023-07-01 理论教育 版权反馈
【摘要】:在迁移学习的过程中,需要解决的首要问题是哪些部分的知识可以跨域或者跨任务进行迁移。根据在迁移过程中的不同考量,迁移学习的方式有多种分类情况。“何时迁移”讨论的是在什么样的情况下可以实施迁移学习的方法或者技术。已有方法中,大部分研究都关注于“迁移什么”和“如何迁移”,这些方法的提出都基于源域和目标域彼此关联的假设。然而,在学习迁移的过程中,如何避免负迁移仍然是一个具有开放性且亟待解决的问题。

基础研究问题:迁移学习

在设计一个迁移学习算法的过程中,我们主要需要解决三个方面的问题:①迁移什么;②如何迁移;③何时迁移。

首先,我们需要了解迁移的对象,即“迁移什么”。在迁移学习的过程中,需要解决的首要问题是哪些部分的知识可以跨域或者跨任务进行迁移。需要弄清楚,哪些知识是可以在不同数据域之间进行跨域使用的,哪些知识是针对特定的域或者特定的任务单独使用的。此处的“知识”,可以是特征描述,也可以是模型描述。在实际应用中根据不同的应用场景,“知识”的定义规范也不相同。当确定了需要迁移哪部分“知识”以后,接着就需要开发将这些“知识”进行迁移的学习算法。这便是迁移学习中第二个问题:如何迁移。

“如何迁移”指的是迁移学习中需要采用的方式。根据在迁移过程中的不同考量,迁移学习的方式有多种分类情况。如根据在迁移过程中“知识”的哪一部分作为迁移对象的载体,迁移学习的方法可以分为基于样本(sample-based)的迁移学习、基于特征(featurebased)的迁移学习、基于模型的迁移学习和基于关系的迁移学习等。根据实际应用中对于“知识”的不同考量可以选择不同的方法进行迁移。关于迁移学习方法的具体分类准则,将会在1.3节进行详细介绍。(www.daowen.com)

“何时迁移”讨论的是在什么样的情况下可以实施迁移学习的方法或者技术。在迁移学习过程中,我们关注可以被迁移的那部分“知识”的同时,也同样对那些不能被迁移的部分感兴趣。例如,当源域与目标域的数据和任务完全不相关时,强制迁移可能会失败,甚至会降低在目标域学习的效果。这样的情况,我们通常称之为负迁移(negative transfer)。已有方法中,大部分研究都关注于“迁移什么”和“如何迁移”,这些方法的提出都基于源域和目标域彼此关联的假设。然而,在学习迁移的过程中,如何避免负迁移仍然是一个具有开放性且亟待解决的问题。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈