斉時的なマルコフ連鎖の性質－推移確率・状態確率をわかりやすく

どうも！初めましての方は初めまして、初心者のWebサイト勉強のとみーです！

マルコフ連鎖を考えるときは、斉時的なマルコフ連鎖を仮定して話を進めることが多いです。

参考 斉時的なマルコフ連鎖とは？という方は、こちらの記事をご覧ください。

マルコフ連鎖とは？数式と具体例を通してわかりやすく解説

どうも！初めましての方は初めまして、初心者のWebサイト勉強のとみーです！ 待ち行列理論や確率過程について勉強していると出会うのが、マルコフ連鎖です。 とみー 今回は、そのマルコフ連鎖についてわかりやすくまとめてみました！ 対象レベル 確率...

www.beginner-blogger.com

とみー

そこで今回は、斉時的なマルコフ連鎖の性質と関連してよく用いられる推移確率についてまとめました！

推移確率とは

定義

斉時的なマルコフ連鎖は、定義から

$$\begin{array}{rcl}\mathbb{P}(X_{n+1}=j|X_n=i)& =& \mathbb{P}(X_n=j|X_{n-1}=i)\\ & ⋮& \\ & =& \mathbb{P}(X_2=j|X_1=i)\\ & =& \mathbb{P}(X_1=j|X_0=i)\end{array}$$

を満たし、状態 $i$ から状態 $j$ へ遷移する確率は時刻 $n$ には無関係です。

そのため、状態 $i$ から状態 $j$ へ遷移する確率は

と書くことができます。

これを、状態 $i$ から状態 $j$ への遷移確率といいます。

具体例

例えば、画像のようなすごろくを考えましょう。

すごろくはサイコロの目をもとに何マス先に進むかが決まるので、例えばマス１→マス２となる推移確率は、

$$p_{12}=\mathbb{P}(\text{1が出る確率})=\frac{1}{6}$$

となります。

推移確率行列とは

推移確率は、ある状態から次の状態へ遷移する確率なので、状態の数が $N$ のとき推移確率は $N^2$ 個存在します。

定義

すべての推移確率を行列の形に表したものを、推移確率行列といいます。

数式で書くと

$$\mathit{P}=(p_{ij})$$

です。

具体例

先ほどのすごろくの例に戻りましょう。

$$\begin{array}{rcl}\mathit{P}& =& \left[\begin{array}{ccccccccc}{p}_{11}& p_{12}& p_{13}& p_{14}& p_{15}& p_{16}& p_{17}& p_{18}& p_{19}\\ p_{21}& p_{22}& p_{23}& p_{24}& p_{25}& p_{26}& p_{27}& p_{28}& p_{29}\\ p_{31}& p_{32}& p_{33}& p_{34}& p_{35}& p_{36}& p_{37}& p_{38}& p_{39}\\ p_{41}& p_{42}& p_{43}& p_{44}& p_{45}& p_{46}& p_{47}& p_{48}& p_{49}\\ p_{51}& p_{52}& p_{53}& p_{54}& p_{55}& p_{56}& p_{57}& p_{58}& p_{59}\\ p_{61}& p_{62}& p_{63}& p_{64}& p_{65}& p_{66}& p_{67}& p_{68}& p_{69}\\ p_{71}& p_{72}& p_{73}& p_{74}& p_{75}& p_{76}& p_{77}& p_{78}& p_{79}\\ p_{81}& p_{82}& p_{83}& p_{84}& p_{85}& p_{86}& p_{87}& p_{88}& p_{89}\\ p_{91}& p_{92}& p_{93}& p_{94}& p_{95}& p_{96}& p_{97}& p_{98}& p_{99}\end{array}\right]\\ \\ & =& \left[\begin{array}{ccccccccc}0& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& 0& 0\\ 0& 0& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& 0\\ 0& 0& 0& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}\\ \frac{1}{6}& 0& 0& 0& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}\\ \frac{1}{6}& \frac{1}{6}& 0& 0& 0& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}\\ \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& 0& 0& 0& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}\\ \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& 0& 0& 0& \frac{1}{6}& \frac{1}{6}\\ \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& 0& 0& 0& \frac{1}{6}\\ \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& 0& 0& 0\end{array}\right]\end{array}$$

状態確率とは

推移確率は、ある状態から次の状態へ遷移する確率でしたが、場合によっては

を求めたい場合があります。

とみー

上のすごろくの例で言えば、サイコロを２回振ってゴールする（マス９に辿り着く）確率、といった感じです。

この「時刻 $n$ で状態 $i$ にいる確率」を状態確率といいます。

数式

数式では、次のように書きます。

$$p_i^{(n)}=\mathbb{P}(X_n=i)$$

右下の添字は状態、右上の添字は時刻（回数）を表しています。

状態確率ベクトル

ある時刻 $n$ における状態確率は、状態の数だけ存在します。

そこで、すべての状態に関する状態確率をベクトルの形でまとめたものを状態確率ベクトルといいます。

状態の数が $N$ 個のとき、数式では

$${\mathit{p}}^{(n)}=[p_{i_1}^{(n)},\cdots ,p_{i_N}^{(n)}]$$

のようになります。

とみー

具体例は、次の性質を通してご紹介します。

専門性を活かした就活で差をつけよう！

確率や統計の専門性は理系の就活でかなり優位に働きます。

そのため、エンジニア就活特化のプラットフォームを使えば他では見られない高待遇な就職先が見つかります！

	特徴	リンク
UZUZ理系	内定率 86% 以上！ ブラック企業徹底排除 機械・電気電子・情報系は特に求人多数	【UZUZ】
エンジニア就活	未経験から即戦力まで幅広く対応 IT企業特化の企業研究・就活コラム 企業から直接スカウトも！	【エンジニア就活】
レバテックルーキー	書類通過率 90% 以上 プログラミング経験者限定のハイクラス求人 新卒年収 500 万円以上の求人も！	レバテックルーキー

経験不足で大丈夫かな…という方はプログラミングスクールでスキルアップしておくとバッチリです。

	特徴	リンク
エンジニアズゲート	完全無料のプログラミングスクール！ 95% 超えの就職率 専任のキャリアアドバイザーがサポート	エンジニアズゲート
TechAcademy	Web 制作・アプリ開発・AI など幅広いコース 学割あり 初心者からでも副業できるレベルのスキルが身に付く！	テックアカデミー無料体験

とみー

エンジニアズゲート は特に完全無料なので検討の余地ありです！

斉時的なマルコフ連鎖の性質

斉時的なマルコフ連鎖の

1. 状態確率ベクトル
2. 遷移確率行列

には、次の関係式が成り立ちます。

公式

これは、初期状態の状態確率ベクトルと遷移確率行列がわかれば、任意の時間の状態確率ベクトルが求められるという公式です。

公式の適用－具体例

すごろくの例を続けましょう。

スタート地点がマス１なので、$n=0$ における状態確率ベクトルは

$${\mathit{p}}^{(0)}=\left[\begin{array}{ccccccccc}1& 0& 0& 0& 0& 0& 0& 0& 0\end{array}\right]$$

です。

公式を使うと、

$$\begin{array}{rcl}{\mathit{p}}^{(1)}& =& {\mathit{p}}^{(0)}\mathit{P}\\ & =& \left[\begin{array}{ccccccccc}1& 0& 0& 0& 0& 0& 0& 0& 0\end{array}\right]\left[\begin{array}{ccccccccc}0& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& 0& 0\\ 0& 0& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& 0\\ 0& 0& 0& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}\\ \frac{1}{6}& 0& 0& 0& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}\\ \frac{1}{6}& \frac{1}{6}& 0& 0& 0& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}\\ \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& 0& 0& 0& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}\\ \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& 0& 0& 0& \frac{1}{6}& \frac{1}{6}\\ \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& 0& 0& 0& \frac{1}{6}\\ \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& 0& 0& 0\end{array}\right]\\ & =& \left[\begin{array}{ccccccccc}0& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& \frac{1}{6}& 0& 0\end{array}\right]\end{array}$$

同様の計算をもう１度行うと

$$\begin{array}{rcl}{\mathit{p}}^{(2)}& =& {\mathit{p}}^{(1)}\mathit{P}\\ & =& \left[\begin{array}{cccccccccc}\frac{1}{9}& \frac{1}{12}& \frac{1}{12}& \frac{1}{12}& \frac{1}{12}& \frac{1}{9}& \frac{5}{36}& \frac{1}{6}& \frac{5}{36}& \end{array}\right]\end{array}$$

よって、２回でゴールに辿り着く確率は $\frac{5}{36}$ ということが求められました。

参考 斉時的なマルコフ連鎖の判定法はこちらの記事で解説しています。

マルコフ連鎖の判定法と状態遷移図

どうも！初めましての方は初めまして、初心者のWebサイト勉強のとみーです！ $$\mathbb{P}(X_{n+1} = j | X_n = i, \color{red}\cdots, X_0 = i_0\color{black}) = \...

www.beginner-blogger.com

まとめ

今回は、確率過程のマルコフ連鎖についてご紹介しました。