例11－1 3家公司生产同一种产品，分别为A1，A2，A3.根据调查得知，3家的产品本月在市场上占据的份额分别为40%，30%和30%.如果顾客本月买产品Ai而下月买产品Aj的概率pij已经知道，试问一年后3家公司的产品在市场的占有率为多少？可以用一个什么样的模型来描述？

解引进随机变量X表示顾客购买A产品.

令状态i表示顾客购买产品Ai，则随机事件（Xn＝i）表示第n个月顾客购买产品Ai，于是，我们得到随机变量序列｛Xn＝i，n＝0，1，2，…｝（n＝0表示初始月，例如去年12月）.这一串随机变量序列被称为链.事件（Xn＝i）常被称为“第n步链处在状态i”.

本章仅讨论状态集合I有限的链：I＝｛1，…，m｝.

假设对任状态it∈I（t＝0，1，…，n＋1）有下式成立：

则称此链｛Xn＝i，n＝0，1，2，…｝为马尔柯夫链.

式（11－1）称为“马尔柯夫性”或者“无后效性”.就是说，链在时刻t＝n时所处状态in，则关于链在时刻n以前所处状态i0，i1，…，in－1，对预言未来时刻t＝n＋1时所处状态in＋1不起任何作用.简言之，在已经知道“现在”的条件下，“将来”与“过去”是独立的.

记pi＝P（X0＝i），i∈I.显然，有

Q0＝（p1，…，pm）称为初始概率向量，P（Xn＋1＝j｜Xn＝i）称为一步转移概率，简称转移概率，应有

若一个马尔柯夫链的一步转移概率P（Xn＋1＝j｜Xn＝i）与时刻n无关，则称这个马尔柯夫链为均匀马尔柯夫链.

例11－2　有一列带有编号1，…，m的口袋，每个袋中都装有记号1，…，m的球，不同的袋所装的带记号i的球的数量可以不同.在第i个袋中摸出带记号j的球的概率为pij.在初始，按概率分布Q0＝（p1，…，pm）选择一个口袋，从那个袋中随机地摸出一个球，如果它带有记号j，则下一次就从第j个口袋随机地摸球，每次摸出球看完记号后仍然放回.若Xn为第n次摸球时摸到球的记号，则我们就得到一个均匀马尔柯夫链.

本章仅讨论均匀马尔柯夫链.

记均匀马尔柯夫链的一步转移概率为

记一步转移概率矩阵（简称转移概率矩阵）为

n步转移概率矩阵为(www.daowen.com)

一个均匀马尔柯夫链，就是用初始概率向量Q0＝（p1，…，pm）与转移概率矩阵P来进行描述.

我们不加证明地给出定理11－1.

定理11－1　对均匀马尔柯夫链，有

式（11－7）告诉我们，n步转移概率矩阵等于一步转移概率矩阵的n次幂.

记Qn＝（P（Xn＝1），…，P（Xn＝m）），称它为第n步概率向量（n＝1，2，…）.

由式（11－6）可知：

例11－3　某计算机实验室的计算机有时会发生故障.某研究者每隔15分钟收集一次计算机状态的资料，共收集了12个小时的数据（有49次观察资料）.用1表示计算机正在工作，用0表示计算机不在工作.所得数据列出如下：

故第一个月购买者在第四月购买A1，A2，A3的概率分别为0.5008，0.2496，0.2496.

例11－5　A与B进行智力游戏，各人带有5份礼物.玩完一局输者给胜者一份礼物（不会有平局）.根据经验，A在每局中获得胜利的概率为0.45，赢得对方5份礼物的人就是最后的获胜者，游戏结束.试建立A的礼物数的马尔柯夫链.

解　观察时间为每局结束.设Xn为A在第n局结束时的礼品的个数.显然，有

在这个马尔柯夫链中，一旦进入状态0或者10，就不能再由这个状态转移到其他状态，这种状态称为吸收状态.

例11－6　一架战斗机有4台发动机，飞行时至少需要有2台发动机工作.它执行任务需要飞行1个小时（即一小时内飞机能够返回基地）.假设在15分钟内，不管已经损坏了几台发动机，飞机的一台发动机被敌人炮火击坏的概率为0.2，问飞机的可靠性如何？

解　以飞机被损坏的发动机的台数i作为飞机的状态，当有3台发动机被击坏，飞机就不能再执行任务了.于是，I＝｛0，1，2，3｝.转移概率矩阵如下：