理论教育 探究迁移学习的数学表达式

探究迁移学习的数学表达式

时间:2023-07-01 理论教育 版权反馈
【摘要】:定义1.3迁移学习是一种机器学习问题,其目标是通过使用从DS和TS迁移得来的知识来帮助学习目标域的决策函数fT(·)。图1.7、图1.8表明传统机器学习和迁移学习的区别。图1.7传统机器学习的学习过程图1.8迁移学习的学习过程在之前的定义中,数据域D={X,P},于是DS≠DT的情况包括XS≠XT或者PX≠PT。

探究迁移学习的数学表达式

为了更加清楚地表示迁移学习,现只考虑单源域DS=(XS,P(XS)),其任务为TS={Ys,fS(·)},以及单目标域DT=(XT,P(XT)),其任务为TT={YT,fT(·)}的情况。基于以上的定义,给出迁移学习形式化的定义。

定义1.3 迁移学习是一种机器学习问题,其目标是通过使用从DS和TS迁移得来的知识来帮助学习目标域的决策函数fT(·)。其中,DS≠DT或者TS≠TT

在定义1.3中,DS≠DT包含XS≠XT或者PX(X)≠PT(X)。TS≠TT包含YS≠YT或者fT(·)≠fS(·)[从统计的角度说也就是P(YS|XS)≠P(YT|XT)]。同样可以观察到如果DS=DT或者TS=TT,学习问题就转换为传统的机器学习问题。

具体来说,给定一个源域img和学习任务TS,一个目标域img和学习任务TT,迁移学习借助源域DS和学习任务TS中的知识,来提高目标域中客观预测函数fT(·)的效果。其中,DS≠DT或者TS≠TT。图1.7、图1.8表明传统机器学习和迁移学习的区别。

图1.7 传统机器学习的学习过程

图1.8 迁移学习的学习过程(www.daowen.com)

在之前的定义中,数据域D={X,P(X)},于是DS≠DT的情况包括XS≠XT或者PX(X)≠PT(X)。举例来说,在文档分类的问题中,这意味着在源文档集和目标文档集之间,不同数据域包括的两个数据集之间的词特征是不同的,或者它们的词特征边界概率分布是不同的。

同理,任务被定义为T={Y,P(Y|X)},于是TS≠TT的情况包括YS≠YT或者P(YS|XS)≠P(YT|XT)。当目标域和源域相同,即DS=DT,学习任务相同,即TS=TT时,迁移学习问题就变成了传统的机器学习问题。

这里进一步给出更详细的解释。数据域不同包括两种情况,第一种情况是域之间的特征空间不同,即XS≠XT;第二种情况是域间特征空间相同,但域数据间的边缘概率(conditional probability)分布不同,即PX(X)≠PT(X),其中img。举例说明,在我们的文档分类问题中,第一种情况对应于:用不同的语言来描述两组文档。第二种情况则对应于:源域文档和目标域文档的内容关注了不同主题。

数据域不变,即给定特定域DS和DT,当学习任务TS和TT不同时,对应了两种情况,第一种情况是域之间的标签空间不同,即YS≠YT;第二种情况是域之间的条件概率(conditional probability)分布不同,PX(X)≠PT(X),其中img。举例说明,在文档分类示例中,第一种情况对应于:源域中有两个文档分的类,而目标域中有10个文档分的类。第二种情况对应于:源域文档和目标文档在用户定义类上是非常不平衡的。

有了上述定义,迁移学习可以从大的方面如下分类,源域imgimg,目标域img,如果nS等于1,叫作单源迁移学习,否则叫作多源迁移学习;另外,nT也是目标域的任务个数,一般来说少数研究集中在nT≥2的情况,现有的迁移学习更多地关注nT=1的情况。

免责声明:以上内容源自网络,版权归原作者所有,如有侵犯您的原创版权请告知,我们将尽快删除相关内容。

我要反馈