传统的机器学习算法是批量模式的，假设所有的训练数据预先给定，通过最小化定义在所有训练数据上的经验误差得到分类器。这种学习方法在小规模上取得了巨大成功，但当数据规模大时，其计算复杂度高、响应慢，无法用于实时性要求高的应用。与批量学习不同，在线学习假设训练数据持续到来，通常利用一个训练样本更新当前的模型，大大降低了学习算法的空间复杂度和时间复杂度，实时性强。早期在线学习应用于线性分类器，产生了著名的感知器（perceptron）算法，经过几十年的发展，在线学习已经形成了一套完备的理论。在线学习方法的核心是利用新的带标签训练数据不断更新现有分类器。在线学习可以定义为学习器和对手之间的博弈：在每一个时刻t，学习器从决策空间选择一个决策wt，同时对手选择一个损失函数ft（·），学习器在当前时刻损失为ft（wt）；根据当前损失，学习器对当前的决策进行更新，从而决定下一时刻的决策。学习器的目的是最小化T个时刻的累计损失。在分析在线学习算法的效果时，我们通常将在线学习的累计误差与批量学习的累计误差相比较，将其差值称为后悔度（regret）。因此，在线学习最小化累计误差也等价于最小化后悔度，后悔度的上界也就成为衡量在线学习算法性能的标准。由于在训练过程中只需要访问新的数据，在线学习的方法既能适用于不断更新的数据又能保证学习效率。迄今为止，能够解决在线学习框架下迁移学习问题的方法很少。比较早的研究是由Zhao和Hoi完成的[69]，他们提出了一个在线学习框架，此框架可解决异构或同构域的知识迁移问题。Dekel等[70]同样提出一个在线学习框架，其目标是使用一个全局损失函数以并行习得多任务。(www.daowen.com)