动态规划模型的建立和线性规划有所不同，下面主要介绍建立动态规划模型的基本思想、基本原理以及建模的主要步骤。

1.动态规划建模的基本思想

（1）采取阶段性思想。

动态规划建模的关键在于正确地写出基本递推关系式和恰当的边界条件，即形成动态规划的基本方程。要解决这个问题，就必须将问题的过程分成几个相互联系的阶段，然后正确定义状态变量、决策变量及最优值函数，从而把较复杂的问题转化成类型基本相同的若干子问题，然后对子问题逐个求解。

（2）采取整体最优思想。

即从给出的边界条件开始，逐段递推寻优。针对每一个子问题，都是利用它前面子问题的最优化结果而依次进行求解，最后一个子问题的最优解就是整个问题的最优解。

（3）着眼全局思想。

在多阶段决策过程中，动态规划从过程角度看，是把当前阶段和未来阶段分开，而从追求目标角度看，又把当前最优和未来最优结合起来，因此，针对每个阶段决策的选取则是从全局来考虑，与当前阶段的最优答案选择一般是不同的。

（4）采取分段寻优方法。

在寻求整个问题的最优策略时，初始状态是已知的，而且每个阶段的决策都是该阶段状态的函数，所以最优策略所经过的各个阶段的状态都可以逐次变换得到，并最终确定所求问题的最优策略。

2.动态规划建模的基本原理

动态规划建模的基本原理主要包括最优性原理、无后效性原理。

（1）最优性原理。

前面介绍的建立指标递推方程，其实就是20世纪50年代由R.Bellman等人研究多阶段问题时提出的最优性原理。最优性原理的内容是“作为整个过程的最优策略具有这样的性质：无论过去的状态和决策如何，相对于前面的决策所形成的状态而言，余下的决策序列必然构成最优子策略。”也就是说，一个最优策略的子策略也是最优的。最优性原理的特点是，最优性原理并不是对所有决策过程都普遍适用的，它仅仅是策略最优性的必要条件，所以在建立不同的动态规划模型时，必须对相应的最优性原理进行必要的论证。动态规划最优性定理的实质就是动态规划的基本方程，它是动态规划的理论基础和理论依据，也是策略最优性的充分必要条件。

（2）无后效性原理。

最优性原理是动态规划方法的核心，所以根据最优性原理可以将多阶段决策过程化为若干个单阶段的决策过程，当然这种转化必须满足无后效性。所谓无后效性是指在状态转移过程中，一旦达到某个阶段的某一个状态，那么以后过程的发展仅仅取决于这一时刻的状态，而与这一时刻以前的状态和决策无关。也就是说，当前阶段的状态给定时，这个阶段以后的过程如何演变与该阶段以及前面各个阶段的状态无关。

3.动态规划的建模步骤(www.daowen.com)

基于动态规划建模的基本原理，动态规划建模的具体步骤如下：

第一步：划分阶段。

根据需要把问题划分为若干个阶段，通常用变量k表示阶段。

第二步：确定状态变量。

通过分析各个阶段的状态，确定可靠的状态变量，通常用sk表示第k阶段的状态变量。状态变量既要描述过程的演变，又要满足无后效性，同时还需要注意，每个阶段可能的状态变量值是可以列举出来的。

第三步：确定决策变量及允许决策集合。

定义状态变量sk以后，就需要定义决策变量，用xk表示第k阶段状态为sk下的决策变量，然后根据实际问题中决策变量的取值范围确定允许决策集合，允许决策集合用Xk表示。

第四步：确定状态转移方程。

针对第k阶段的状态sk作出了决策xk，那么第k阶段末即第k+1阶段初的状态sk+1也就能确定，从而可以建立函数关系，即写出状态转移方程

sk+1=gk(sk,xk)

第五步：确定各阶段指标函数和最优指标函数。

确定每一个阶段不同状态的效果和整个最优后部过程的指标，用dk(sk,xk)表示各个阶段的效果函数，用fk(sk)表示最优后部指标。

第六步：建立指标递推方程。

建立如模型8.1或模型8.2的指标递推方程。

以上六步是建立动态规划数学模型的一般步骤，需要注意的是，合理的最优后部指标和可靠的指标递推方程是正确建立动态规划模型的基础和关键。

由于动态规划模型与线性规划模型不同，动态规划模型没有通用的模式，所以建模时必须根据具体问题做具体分析，只有通过不断的实践总结，才能较好地掌握动态规划建模的方法与技巧。