どうも！初めましての方は初めまして、初心者のWebサイト勉強のとみーです！
待ち行列理論や確率過程について勉強していると出会うのが、マルコフ連鎖です。
今回は、そのマルコフ連鎖についてわかりやすくまとめてみました！
確率の基本的な知識がある方（高校数学〜大学入門）
マルコフ連鎖とは
マルコフ連鎖とは、
- マルコフ性を備えた
- 確率過程
です。
１つずつ言葉の意味を見ていきましょう。
まずは簡単な確率過程からです。
確率過程とは
例として、「コインを $n$ 回投げる」という場面を考えましょう。
確率過程の具体例
$i$ 回目に出た面を
\begin{eqnarray} X_i(\mbox{裏})=0 \nonumber \\ X_i(\mbox{表})=1 \nonumber \end{eqnarray}
という確率変数 $X_i$ で表すと
$$\{ X_i\}_{1 \le i \le n} = \{ X_1, \cdots, X_n \}$$
は各回の出た面（裏なら０、表なら１）の集まりですね。
このとき、確率変数 $X_n$ は出た面（表か裏か）の関数ですが、同時にサイコロを何回目に振ったかという順番 $n$ の関数にもなっています。
確率過程の定義
このように、
- 確率変数を時間（$n$ 回目や時刻 $t$）と紐付け
- 時間についてひとまとめにしたもの
を確率過程といいます。
ここでいう「時間」は、分、秒といった時間だけのことではなく、$n$ 回目といった回数も含みます。
「時間についてひとまとめ」というのは、$i$ 回目の面を $X_i$ として表すように、確率変数を時間ごとに考えるということです。
なので、上の $\{X_i\}_{1 \le i \le n}$ は確率過程です！
ざっくりと、$n$ 回目の出来事を表す確率変数を集めたもの、くらいのイメージが掴めればOKです。
続いては、マルコフ性です。
確率や統計の専門性は理系の就活でかなり優位に働きます。
そのため、エンジニア就活特化のプラットフォームを使えば他では見られない高待遇な就職先が見つかります！
| 特徴 | リンク | |
|---|---|---|
| UZUZ理系 |
|
|
| エンジニア就活 |
|
|
| レバテックルーキー |
|
経験不足で大丈夫かな…という方はプログラミングスクールでスキルアップしておくとバッチリです。
| 特徴 | リンク | |
|---|---|---|
| エンジニアズゲート |
|
|
| TechAcademy |
|
エンジニアズゲート
マルコフ性とは
マルコフ性の定義
マルコフ性とは、
次の状態は、現在の状態だけに依存する
という性質です。
こちらも具体例を通して理解しましょう。
マルコフ性の具体例
次のようなすごろくを考えます。
今回は、$n$ 回サイコロを振った後にいるマス目の値を確率変数 $X_n$ とします。
サイコロを振る前はスタート地点にいるので、$X_0 = 1$ ですね。
正解は、
のいずれかの場合です。
ここで重要なのは、$n$ 回目より前にどこにいたか（$X_0, \cdots, X_{n-1}$）は関係ないということです。過去にどんなマスにいようと、$n+1$ 回目にどこにいるかは $n$ 回目にどこにいるかだけで決まるのです。
これがマルコフ性です。
マルコフ連鎖とは
以上をまとめると、冒頭の定義の繰り返しになりますが、
- マルコフ性を備えた
- 確率過程
をマルコフ連鎖といいます。
確率過程 $\{X_n\}_{n \in \mathbb{Z}_+}$ がマルコフ過程であることは、数式で書くと次のようになります。
$$\mathbb{P}(X_{n+1} = j | X_n = i, \color{red}\cdots, X_0 = i_0\color{black}) = \mathbb{P}(X_{n+1} = j | X_n = i)$$
条件付き確率の「直前の条件以外」は全部無視できるという意味です！
参考 マルコフ連鎖かどうかを判定する方法は、こちらの記事で詳しく解説しています。
斉時的なマルコフ連鎖
マルコフ連鎖の中には、斉時的なマルコフ連鎖というものが存在します。
斉時的なマルコフ連鎖の定義
斉時性は
「今どの状態にいるか」は重要だけど
「今何回目か」はまったく関係ない
という性質です。
数式で見るとこんな感じです。
取り得るすべての $n, i_0, \cdots, i_n, j$ に対して、
確率変数の添字に注目しましょう。
これは、$n$ 回目で状態 $i$ のときに $n+1$ 回目で状態 $j$ となる確率は
のすべてと同じということを意味しています。
つまり、今が何回目でも状態 $i$ から状態 $j$ に遷移する確率は変わらないということです。
斉時的なマルコフ連鎖の具体例
先ほどのすごろくの例に戻りましょう。
今が１回目でも１００回目でも、マス１からマス２に移動できる確率は $\frac{1}{6}$ です。
これは、数式で書けばどんな $n$ に対しても
$$\mathbb{P}(X_{n+1} = 2|X_n = 1) = \frac{1}{6}$$
が成り立つことと同じです。
$X_n$は、$n$ 回サイコロを振った後にいるマス目でしたね。
そのため、マス１からマス２に移動する確率 $p_{12}$ は $n$ に関係なく
$$p_{12} = \frac{1}{6}$$
となります。
同様に、すべての $(i, j) \in \{1, \cdots, 9\}$ について、$n$ とは関係なくマス $i$ からマス $j$ へ移動する確率が求められるので、$\{X_n\}_{n \in \mathbb{N}}$ は斉時的なマルコフ連鎖です。
参考 斉時的なマルコフ連鎖の性質について、こちらの記事でさらに細かく解説しています！
まとめ
今回は、確率過程のマルコフ連鎖についてご紹介しました。
コメント