传统的数据挖掘和机器学习算法使用统计模型对未来的数据进行预测，这些统计模型使用之前收集的有标签或无标签的训练数据[47-49]进行训练。

半监督学习（semi-supervised learning）是介于有监督学习（源域和数据域均为有标签数据）和无监督学习（源域和数据域均为无标签数据）之间的一种机器学习任务和方法。通常，半监督任务使用大量的没有标签样本和有限数量的有标签样本来训练学习模型，解决了因为有标签数据太少而无法构建一个好的模型的问题[50-53]。半监督学习减轻了对有标签样本的依赖，从而降低了昂贵的标注成本。尽管如此，它们中的大多数假设有标签和没有标签的数据的分布是相同的。相反，迁移学习解决了因为有标签数据太少而无法构建一个效果好的分类器的问题。在现实世界中，我们看到了许多迁移学习的例子。例如，我们可能会发现，学会识别苹果可能有助于识别梨。同样，学习弹奏电子琴也有助于学习弹奏钢琴。迁移学习的研究动机是人们可以聪明地应用以前学到的知识，更快地解决新问题或有更好的解决方案。

迁移学习的初衷是节省人工标注样本的时间，让模型可以通过已有的有标签数据向没有标签的数据迁移。从而训练出适用于目标域的模型。

最早在机器学习领域引用迁移这个词的是Lorien Pratt，他在1993年制定了基于可区分性转移（DBT）算法。最初提出关于迁移学习的研究是在NIPS95研讨会上关于机器学习领域的一个研讨课题“学会学习”，该课题关注如何保留和重用先前学到的知识以不断更新现有知识模型的永久学习方法。

自从1995年开始，迁移学习就以不同的名字受到了越来越多人的关注：学身学习、终身学习、知识迁移、感应迁移、多任务学习、知识整合、背景敏感学习、基于感应阈值的学习、元学习、增量或者累积学习[54]。在这些情况中，与迁移学习密切相关的一种学习技术是多任务学习框架[55]。多任务学习的一个典型的方法是揭示出每个任务都受益的共同（潜在）特征。具体来说，多任务学习的思想是共同学习一组相关的任务，这样便增强了每个任务的泛化性。(www.daowen.com)

1997年，机器学习杂志发表了一个专门讨论迁移学习的专题，到1998年，迁移学习已经成为比较完整的学习领域，包括多任务学习，以及对其理论基础的更正式的分析。

2005年，美国国防部高级研究计划局的信息处理技术办公室发表的代理公告，给出了关于迁移学习的新问题：如何将前序任务中学习到的知识和技能应用到新的任务中？在这个报告中，迁移学习旨在从一个或者多个源域任务中提取信息，进而应用到目标任务上。此时便出现了迁移学习与多任务学习的区别，即在迁移学习中，源域任务和目标任务不再是对称的。具体来说，迁移学习是迁移相关领域内的知识，而多任务学习是通过同时学习一些相关任务来迁移知识。换句话说，多任务学习对每一项任务的关注是平等的，而迁移学习对目标任务的关注多于对源任务的关注。此外，迁移学习和多任务学习之间也存在一些共性和联系。二者都旨在通过知识转移来提高学习模型的学习成绩，都采用了一些相似的构建模型的策略，如特征转换和参数共享（parameter sharing）等。

2005年，Andrew Ng探讨了在文本分类中应用迁移学习的方法。2007年，Mihalkova等学者开发了用于马尔可夫逻辑网络（Markov logic networks）的转移学习算法。同年，Niculescu-Mizil等学者讨论了迁移学习在贝叶斯网络中的应用。2012年，Lorien Pratt和Sebastian Thrun出版了Learning to Learn，对迁移学习的发展进行了回顾。

在深度学习大行其道的今天，由于神经网络的训练越来越费时，同时其需要的数据集大小也不是在所有情况下都能满足的，因此使用已经训练好的神经网络去完成其他任务变得越来越流行，迁移学习也变得越来越重要。深度学习方法在机器学习领域尤其流行。许多研究者利用深度学习技术构建了迁移学习模型。如对抗域适应的统一框架[56]、采用了Wasserstein distance进行域适应[57]；采用了循环一致性丢失的方法来保证结构和语义的一致性[58]；利用了条件域识别器来辅助对抗自适应的条件域对抗网络（CDAN）[59]；对源和目标分类器采用了对称设计[60]；利用域对抗性网络来解决多源转移学习问题[61]等。