数据挖掘（data mining）和机器学习技术已经在许多知识工程领域获得了广泛的应用，包括分类、回归和聚类[1-2]。然而，在一些实际应用场景中，传统机器学习的方法仍然存在一定的局限性。如医学诊断和医学图像领域，短时间内无法获得新病症的大量高质量训练数据；再如交通路况以及行人检测，使用日间图片训练得到的行人检测模型可能无法在夜间行人检测中获得很好的效果；进一步地，如果把检测行人的模型用于检测骑车人，该模型几乎是无法使用的。在上述例子中，由于缺少训练数据、场景变化、任务变化等，现有已训练好的模型不能很好地适应到新的应用场景中。传统机器学习方法依赖于大量带标签数据，且假设训练数据和测试数据来自相同的数据分布。然而，收集足够的训练数据通常是昂贵、耗时的，甚至在许多现实应用中是无法实现的。如何减少重新收集训练数据的工作，将已有数据习得的模型迁移至新的数据场景中，是本书要讨论的主要问题。

迁移学习（transfer learning）是一种思想，通过从相关领域中迁移学习过的知识，完成或改进目标域中的任务学习效果。生活中便有很多这样的例子，比如学过钢琴的人可以利用其五线谱优势、音准优势去学习小提琴，通常会比无基础学习者学得更快更好。再如学会跳舞的人，可以利用自身的柔韧性、肢体协调能力更容易学会体操。迁移学习主要研究如何将某个旧数据或任务上学习到的知识或模式应用到不同但相关的数据或任务上。

在图片分类（image classification）问题中，也有迁移学习的实例。对于一个已有的可以正确识别出图片中猫和狗的分类器，该分类器通过学习大量带有“猫”或“狗”标签的图片获得。如果将分类器应用于一个新的任务，识别象和马，传统机器学习方法由于缺少大量可用的带有“象”和“马”标签的图片作为训练数据而遇到瓶颈。迁移学习的思想让我们发现，这些“猫”“狗”以及“象”和“马”的图像是具有相关性的，即均为四足动物的图片。因此，可以利用在“猫”和“狗”数据集上训练得到的分类器中的相关参数，去优化新任务的分类器。

迁移学习不仅仅应用在图片分类问题上，在情绪分类问题中也被广泛使用。现有的任务是要求模型自动对一个产品的评论划分为积极和消极的观点。如把对相机品牌的评论分成积极观点和消极观点两类。对于这个分类任务，首先需要收集产品的许多评论并对它们进行注释，然后利用这些收集到的带有标签的数据，去训练出一个评论分类器。由于这些评论数据在不同类型产品之间的分布差异较大，为了保持分类器的泛化性，我们需要收集大量的带标签的数据来训练每个产品的评论分类模型。然而，此类数据采集过程费时、费力，为了减少为各种产品注释评论的工作量，可以调整一个在某些产品上训练过的分类模型，用以帮助学习一些其他产品的分类模型。在这种情况下，迁移学习可以节省大量的数据标注工作[3]。

在多语言语音识别问题中，迁移学习也起到了很好的作用。假设现在有大量不同语言的语音数据，如法语、德语、西班牙语、意大利语、汉语的语音数据。任务是要求训练出一个语音识别模型，可以同时识别这五种不同的语言。通过利用人类语言的相关性，该语音识别模型可以共用一部分语音分类参数，比起在训练过程中只学习一门语言，这样的效果反而更好。同理，迁移学习的思想也可以用在语言翻译的工作中。这样一来，不仅减少了工作量，而且还能达到更好的效果。(www.daowen.com)

在个性化领域，迁移学习能够帮助生成效果更好的用户画像。用户画像就是用户信息标签化，每个用户都有自己的兴趣爱好、行为习惯，从用户产生的各种数据中挖掘出用户在不同属性上的标签，用这些标签揭示出用户的特点，从而做到为用户进行精准的个性化推荐。在尝试将通用模型应用到某些定制场景中时，传统的机器学习算法会遇到冷启动问题。比如在一个电影推荐平台上新增书籍推荐的内容，但是如何为没有买书记录的用户群体推荐书呢？可以通过迁移学习来解决，利用已有电影推荐平台的用户画像描述，将其迁移到书籍内容推荐上。简单来说，就是为喜欢看悬疑内容电影的人推荐悬疑题材的书籍。

综上所述，使用迁移学习的主要原因在于可训练数据资源不易获取、重新训练新任务的成本开销大。一般情况下，数据是有限的，标注数据更为稀缺，在有限的标注数据上习得的模型极有可能泛化性能较差。迁移学习的出现便很好地解决了这一方面的问题。迁移学习的应用场景及示例如图1.6所示。

图1.6　迁移学习的应用场景及示例