数值预测与分类既相似又有区别。两者都属于有监督学习，解决问题的过程相同，都是先通过训练数据集进行学习以得到一个模型，然后利用模型进行预测。不同的是分类问题预测的是类别，而数值预测预测的是数值，通常是连续类型的数值。另一个不同是两者采用的常用技术大多是不同的，数值预测最常用的技术是回归（Regression），因此，有时将回归与数值预测等同看待。有一些技术是相同的，例如K近邻既可以用于分类也可以用于数值预测。有些技术存在相似性，例如，决策树和模型树、回归树的构建过程存在一些共性。

数值预测问题可以描述为给定一个样本xt，由k个属性A1，A2，…，Ak描述，即xt=（xt1，xt2，…，xtk），要判断其数值属性Y的取值y，称该数值属性为目标属性，将其他属性称为描述属性。要解决这个问题，需要构建一个已有目标属性取值的样本集，假设此样本集为D，其中每个样本有k+l个属性A1，A2，…，Ak，Y的相应取值，其中第i个样本为（xi 1，xi 2，…，xik，yi），i=1，2，…，n。与分类类似，通常将数据集D分为两部分：一部分作为学习，用于构建预测模型，称为训练数据集，简称训练集；另一部分则作为测试模型性能的数据集，称为测试数据集，简称测试集。

数值预测有许多实际的应用。例如，预测一个产品的销售量，预测一个客户的消费额度，预测一个客户的月均账户余额、预测一个产品的性能等。这些预测是一个公司或部门的业务运营所需的非常重要的决策依据。例如美国加州大学欧文分校机器学习数据库（UC Irvine Machine Learning Repository，http：//archive.ics.uci.edu/ml/）中的一个名为computer hardware的数据完整版包括209个样本，每个样本有10个属性，其中有两个类别属性，8个数值属性，选择其中的6个数值属性作为描述属性，1个数值属性作为目标属性。(www.daowen.com)

回归方法是一种历史悠久的统计方法，最常用的是线性回归包括一元线性回归、多元线性回归以及非线性回归。线性回归方法不仅用于预测，也可以用作解释模型，以探寻变量之间的关系。另外还有回归树和模型树等模型。