斉時的なマルコフ連鎖の性質－推移確率・状態確率をわかりやすく

どうも！初めましての方は初めまして、初心者のWebサイト勉強のとみーです！

マルコフ連鎖を考えるときは、斉時的なマルコフ連鎖を仮定して話を進めることが多いです。

参考斉時的なマルコフ連鎖とは？という方は、こちらの記事をご覧ください。

マルコフ連鎖とは？数式と具体例を通してわかりやすく解説

どうも！初めましての方は初めまして、初心者のWebサイト勉強のとみーです！待ち行列理論や確率過程について勉強していると出会うのが、マルコフ連鎖です。とみー今回は、そのマルコフ連鎖についてわかりやすくまとめてみました！対象レベル確率...

とみー

そこで今回は、斉時的なマルコフ連鎖の性質と関連してよく用いられる推移確率についてまとめました！

対象レベル

確率の基本的な知識がある方（高校数学〜大学入門）

マルコフ連鎖に関連するその他の重要事項

以下では、斉時的なマルコフ連鎖を

$$\{X_n\}_{n \geq 0}$$

とし、状態空間（各確率変数の取り得る値の集まり）を

$$E = \{i_0, \cdots, i_n, j\}$$

とします（$n \geq 0$）。

推移確率とは
1. 定義
2. 具体例
推移確率行列とは
1. 定義
2. 具体例
状態確率とは
1. 数式
2. 状態確率ベクトル
斉時的なマルコフ連鎖の性質
1. 公式
2. 公式の適用－具体例
まとめ

推移確率とは

定義

斉時的なマルコフ連鎖は、定義から

\begin{eqnarray} \mathbb{P}(X_{n+1} = j | X_n = i) &=& \mathbb{P}(X_{n} = j | X_{n-1} = i) \nonumber \\ &\vdots& \nonumber \\ &=& \mathbb{P}(X_2 = j | X_1 = i) \nonumber \\ &=& \mathbb{P}(X_{1} = j | X_0 = i) \end{eqnarray}

を満たし、状態 $i$ から状態 $j$ へ遷移する確率は時刻 $n$ には無関係です。

そのため、状態 $i$ から状態 $j$ へ遷移する確率は

$p_{ij}$（$i$ と$j$ だけの関数）

と書くことができます。

これを、状態 $i$ から状態 $j$ への遷移確率といいます。

具体例

例えば、画像のようなすごろくを考えましょう。

すごろくはサイコロの目をもとに何マス先に進むかが決まるので、例えばマス１→マス２となる推移確率は、

$$p_{12} = \mathbb{P}(\mbox{1が出る確率}) = \frac{1}{6}$$

となります。

推移確率行列とは

推移確率は、ある状態から次の状態へ遷移する確率なので、状態の数が $N$ のとき推移確率は $N^2$ 個存在します。

定義

すべての推移確率を行列の形に表したものを、推移確率行列といいます。

数式で書くと

$$\boldsymbol{P} = (p_{ij})$$

です。

具体例

先ほどのすごろくの例に戻りましょう。

すごろくのマスは９箇所あるので、推移確率は８１個あり、推移確率行列は $9 \times 9$ です。

\begin{eqnarray} \boldsymbol{P} &=& \begin{bmatrix} p_{11} & p_{12} & p_{13} & p_{14} & p_{15} & p_{16} & p_{17} & p_{18} & p_{19} \\ p_{21} & p_{22} & p_{23} & p_{24} & p_{25} & p_{26} & p_{27} & p_{28} & p_{29} \\ p_{31} & p_{32} & p_{33} & p_{34} & p_{35} & p_{36} & p_{37} & p_{38} & p_{39} \\ p_{41} & p_{42} & p_{43} & p_{44} & p_{45} & p_{46} & p_{47} & p_{48} & p_{49} \\ p_{51} & p_{52} & p_{53} & p_{54} & p_{55} & p_{56} & p_{57} & p_{58} & p_{59} \\ p_{61} & p_{62} & p_{63} & p_{64} & p_{65} & p_{66} & p_{67} & p_{68} & p_{69} \\ p_{71} & p_{72} & p_{73} & p_{74} & p_{75} & p_{76} & p_{77} & p_{78} & p_{79} \\ p_{81} & p_{82} & p_{83} & p_{84} & p_{85} & p_{86} & p_{87} & p_{88} & p_{89} \\ p_{91} & p_{92} & p_{93} & p_{94} & p_{95} & p_{96} & p_{97} & p_{98} & p_{99} \end{bmatrix} \\ \\ &=& \begin{bmatrix} 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 \\ 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 \\ 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 \end{bmatrix} \end{eqnarray}

状態確率とは

推移確率は、ある状態から次の状態へ遷移する確率でしたが、場合によっては

時刻 $n$ で状態 $i$ にいる確率

を求めたい場合があります。

とみー

上のすごろくの例で言えば、サイコロを２回振ってゴールする（マス９に辿り着く）確率、といった感じです。

この「時刻 $n$ で状態 $i$ にいる確率」を状態確率といいます。

数式

数式では、次のように書きます。

$$p_i^{(n)} = \mathbb{P} (X_n = i)$$

右下の添字は状態、右上の添字は時刻（回数）を表しています。

状態確率ベクトル

ある時刻 $n$ における状態確率は、状態の数だけ存在します。

そこで、すべての状態に関する状態確率をベクトルの形でまとめたものを状態確率ベクトルといいます。

状態の数が $N$ 個のとき、数式では

$$\boldsymbol{p}^{(n)} = [p_{i_1}^{(n)}, \cdots, p_{i_N}^{(n)}]$$

のようになります。

とみー

具体例は、次の性質を通してご紹介します。

専門性を活かした就活で差をつけよう！

確率や統計の専門性は理系の就活でかなり優位に働きます。

そのため、エンジニア就活特化のプラットフォームを使えば他では見られない高待遇な就職先が見つかります！

	特徴	リンク
UZUZ理系	内定率 86% 以上！ブラック企業徹底排除機械・電気電子・情報系は特に求人多数	【UZUZ】
エンジニア就活	未経験から即戦力まで幅広く対応 IT企業特化の企業研究・就活コラム企業から直接スカウトも！	【エンジニア就活】
レバテックルーキー	書類通過率 90% 以上プログラミング経験者限定のハイクラス求人新卒年収 500 万円以上の求人も！	レバテックルーキー

経験不足で大丈夫かな…という方はプログラミングスクールでスキルアップしておくとバッチリです。

	特徴	リンク
エンジニアズゲート	完全無料のプログラミングスクール！ 95% 超えの就職率専任のキャリアアドバイザーがサポート	エンジニアズゲート
TechAcademy	Web 制作・アプリ開発・AI など幅広いコース学割あり初心者からでも副業できるレベルのスキルが身に付く！	テックアカデミー無料体験

とみー

エンジニアズゲートは特に完全無料なので検討の余地ありです！

斉時的なマルコフ連鎖の性質

斉時的なマルコフ連鎖の

状態確率ベクトル
遷移確率行列

には、次の関係式が成り立ちます。

公式

$$\boldsymbol{p}^{(n)} = \boldsymbol{p}^{(n-1)} \boldsymbol{P} = \boldsymbol{p}^{(0)} \boldsymbol{P}^{n}$$

これは、初期状態の状態確率ベクトルと遷移確率行列がわかれば、任意の時間の状態確率ベクトルが求められるという公式です。

導出

ベイズの定理より、

\begin{eqnarray} \mathbb{P} (X_1 = i_1) &=& \sum_{i_0} \mathbb{P} (X_0 = i_0, X_1 = i_1) \nonumber \\ &=& \sum_{i_0} \mathbb{P} (X_0 = i_0) \mathbb{P}(X_1=i_1|X_0=i_0) \end{eqnarray}

遷移確率、状態確率を使って書き直すと

\begin{eqnarray} p_{i_1}^{(1)} = \sum_{i_0} p_{i_0}^{(0)} p_{i_0i_1} \end{eqnarray}

これを状態の数だけ考えると、次のような行列に関する等式になる。

\begin{eqnarray} \begin{bmatrix} p_{i_0}^{(1)} & \cdots & p_{i_N}^{(1)} \end{bmatrix} = \begin{bmatrix} p_{i_0}^{(0)} & \cdots & p_{i_N}^{(0)} \end{bmatrix} \begin{bmatrix} p_{i_0i_0} & \cdots & p_{i_0i_N} \\ \vdots & \ddots & \vdots \\ p_{i_Ni_0} & \cdots & p_{i_Ni_N} \end{bmatrix} \end{eqnarray}

よって

$$\boldsymbol{p}^{(1)} = \boldsymbol{p}^{(0)} \boldsymbol{P}$$

で、再帰的に

$$\boldsymbol{p}^{(n)} = \boldsymbol{p}^{(n-1)} \boldsymbol{P} = \boldsymbol{p}^{(0)} \boldsymbol{P}^{n}$$

公式の適用－具体例

すごろくの例を続けましょう。

スタート地点がマス１なので、$n=0$ における状態確率ベクトルは

$$\boldsymbol{p}^{(0)} = \begin{bmatrix}1 & 0& 0& 0& 0& 0& 0& 0& 0\end{bmatrix}$$

です。

公式を使うと、

\begin{eqnarray} \boldsymbol{p}^{(1)} &=& \boldsymbol{p}^{(0)} \boldsymbol{P} \nonumber \\ &=& \begin{bmatrix} 1 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 \\ 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 \\ 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 & \frac{1}{6} \\ \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0 & 0 \end{bmatrix} \\ &=& \begin{bmatrix}0 & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & \frac{1}{6} & 0 & 0\end{bmatrix} \end{eqnarray}

同様の計算をもう１度行うと

\begin{eqnarray} \boldsymbol{p}^{(2)} &=& \boldsymbol{p}^{(1)} \boldsymbol{P} \nonumber \\ &=& \begin{bmatrix} \frac{1}{9} & \frac{1}{12} & \frac{1}{12} & \frac{1}{12} & \frac{1}{12} & \frac{1}{9} & \frac{5}{36} & \frac{1}{6} & \frac{5}{36} & \end{bmatrix} \end{eqnarray}

よって、２回でゴールに辿り着く確率は $\frac{5}{36}$ ということが求められました。

参考斉時的なマルコフ連鎖の判定法はこちらの記事で解説しています。