在实际问题中，还遇到某些多阶段决策过程，不是像前面所讨论的确定性那样状态转移是完全确定的，而是出现了随机性因素，状态转移不能完全确定，它是按照某种已知的概率分布取值。具有这种性质的多阶段决策过程就称为随机性动态规划问题。同处理确定性问题类似，用动态规划的方法也可处理这种随机性问题。

例5.10(不确定采购)某厂生产上需要在近五周内必须采购一批原料，而估计在未来五周内价格有波动，其浮动价格和概率已测得如表5.12所示。试求在哪一周以什么价格购入，可使其采购价格的数学期望值最小，并求出期望值。

表5.12　原料价格分布

解这里价格是一个随机变量，是按某种已知的概率分布取值的。用动态规划方法处理，按采购期限5周分为5个阶段，将每周的价格看做该阶段的状态。设yk为状态变量，表示第k周的实际价格；设xk为决策变量，当xk=1时表示第k周决策为采购，当xk=0时表示第k周决策为不采购，决定等待；设ykE表示第k周决定等待，而在以后采取最优决策时采购价格的期望值；设fk(yk)表示第k周实际价格为yk时，从第k周至第5周采取最优决策所得的最小期望值。则问题的逆序递推关系为

其中

由ykE和fk(sk)的定义可知

并且得出最优决策为

当k=5时，因f5(s5)=y5，y5∈s5，故有

即在第5周时，若所需的原料尚未购入，则无论市场价格是多少，都必须采购，不能再等。

当k=4时，由于

于是有

所以，第4周的最优决策为

(www.daowen.com)

当k=3时，

于是

所以，第3周的最优决策为

当k=2时，

于是

所以，第2周的最优决策为

当k=1时，

于是

所以，第1周的最优决策为

由此可得最优采购策略为：在第1、第2、第3周时，若价格为500就采购，否则应该等待；在第4周时，价格为500或600时都应采购，否则就等待；在第5周时，无论什么价格都要采购。按照该最优策略进行采购时，采购价格的数学期望值为

在本章中，介绍了动态规划的基本思想与求解问题的思路，并对一些典型的动态规划问题的求解进行了分析。但主要涉及的是确定型的动态规划问题，其他的如不确定型、随机型等动态规划问题并未涉及。需要注意的是，动态规划问题的求解需要创造性的思维，针对不同问题设计求解的过程。