问题背景：游戏强化装备期望是怎么计算的？@知乎
解答参考该问题下@刘昆和@朱元晨两位dalao的回答
马氏链期望计算例子：[markov系列2]马尔可夫链中的期望问题
装备有
个等级，
，对等级
的装备强化有等级变为
和)
两个结果（停留在等级也可以视作三个结果）。装备等级变化之间是条件独立的，本次强化结果只和前一次强化结果相关。
定义随机过程
表示
，记%3Dp_%7Bij%7D)
，即
为
%3Dp_%7Bij%7D%3D%20%5Cbegin%7Bcases%7D%20p_i%20%5Cqquad%20if%20%5Cqquad%20j%3Di%2B1%20%5C%5C%201%20-%20p_i%20%5Cqquad%20if%20%5Cqquad%20j%3Dmin%5C%7Bi-1%2C1%5C%7D%20%5C%5C%200%20%5Cqquad%20otherwise%20%5Cend%7Bcases%7D)
其中，
表示
的概率。
由此得到一步状态转移矩阵
为
)
表示从
，显然有
这里+1实际上是补了一个不存在的状态
辅助计算，用来描述
，状态
到
都是互达的，状态
到状态的概率为1，状态到任意状态的概率为0.
可以得到线性方程组
进一步有
![\left[\begin{matrix}E_{1,N}\\E_{2,N}\\·\\·\\·\\E_{N-1,N}\end{matrix}\right]=\left[\begin{matrix}1-p_1 & 0 & p_1 & · & · & ·\\0 & 1-p_2 & 0 & · & · & ·\\· & · & · & · & · & ·\\· & · & · & · & · & ·\\· & · & · & · & · & ·\\· & · & · & · & 1-p_n & ·\end{matrix}\right]\left[\begin{matrix}E_{1,N}\\E_{2,N}\\·\\·\\·\\E_{N-1,N}\end{matrix}\right]+ \left[\begin{matrix}1\\1\\1\\1\\1\\1\end{matrix}\right]](https://math.jianshu.com/math?formula=%5Cleft%5B%5Cbegin%7Bmatrix%7DE_%7B1%2CN%7D%5C%5CE_%7B2%2CN%7D%5C%5C%C2%B7%5C%5C%C2%B7%5C%5C%C2%B7%5C%5CE_%7BN-1%2CN%7D%5Cend%7Bmatrix%7D%5Cright%5D%3D%5Cleft%5B%5Cbegin%7Bmatrix%7D1-p_1%20%26%200%20%26%20p_1%20%26%20%C2%B7%20%26%20%C2%B7%20%26%20%C2%B7%5C%5C0%20%26%201-p_2%20%26%200%20%26%20%C2%B7%20%26%20%C2%B7%20%26%20%C2%B7%5C%5C%C2%B7%20%26%20%C2%B7%20%26%20%C2%B7%20%26%20%C2%B7%20%26%20%C2%B7%20%26%20%C2%B7%5C%5C%C2%B7%20%26%20%C2%B7%20%26%20%C2%B7%20%26%20%C2%B7%20%26%20%C2%B7%20%26%20%C2%B7%5C%5C%C2%B7%20%26%20%C2%B7%20%26%20%C2%B7%20%26%20%C2%B7%20%26%20%C2%B7%20%26%20%C2%B7%5C%5C%C2%B7%20%26%20%C2%B7%20%26%20%C2%B7%20%26%20%C2%B7%20%26%201-p_n%20%26%20%C2%B7%5Cend%7Bmatrix%7D%5Cright%5D%5Cleft%5B%5Cbegin%7Bmatrix%7DE_%7B1%2CN%7D%5C%5CE_%7B2%2CN%7D%5C%5C%C2%B7%5C%5C%C2%B7%5C%5C%C2%B7%5C%5CE_%7BN-1%2CN%7D%5Cend%7Bmatrix%7D%5Cright%5D%2B%20%5Cleft%5B%5Cbegin%7Bmatrix%7D1%5C%5C1%5C%5C1%5C%5C1%5C%5C1%5C%5C1%5Cend%7Bmatrix%7D%5Cright%5D)
故
![\left[\begin{matrix}E_{1,N}\\E_{2,N}\\·\\·\\·\\E_{N-1,N}\end{matrix}\right]=\left(I-P\right)^{-1}\left[\begin{matrix}1\\1\\1\\1\\1\\1\end{matrix}\right]](https://math.jianshu.com/math?formula=%5Cleft%5B%5Cbegin%7Bmatrix%7DE_%7B1%2CN%7D%5C%5CE_%7B2%2CN%7D%5C%5C%C2%B7%5C%5C%C2%B7%5C%5C%C2%B7%5C%5CE_%7BN-1%2CN%7D%5Cend%7Bmatrix%7D%5Cright%5D%3D%5Cleft(I-P%5Cright)%5E%7B-1%7D%5Cleft%5B%5Cbegin%7Bmatrix%7D1%5C%5C1%5C%5C1%5C%5C1%5C%5C1%5C%5C1%5Cend%7Bmatrix%7D%5Cright%5D)
其中为状态转移矩阵，
为单位矩阵。
