マルコフ連鎖とは？数式と具体例を通してわかりやすく解説

どうも！初めましての方は初めまして、初心者のWebサイト勉強のとみーです！

待ち行列理論や確率過程について勉強していると出会うのが、マルコフ連鎖です。

とみー

今回は、そのマルコフ連鎖についてわかりやすくまとめてみました！

マルコフ連鎖とは

マルコフ連鎖とは、

1. マルコフ性を備えた
2. 確率過程

です。

とみー

１つずつ言葉の意味を見ていきましょう。

まずは簡単な確率過程からです。

確率過程とは

例として、「コインを $n$ 回投げる」という場面を考えましょう。

確率過程の具体例

$i$ 回目に出た面を

$$\begin{array}{r}{X}_i(\text{裏})=0\\ X_i(\text{表})=1\end{array}$$

という確率変数 $X_i$ で表すと

$$\{X_i{\}}_{1\le i\le n}=\{X_1,\cdots ,X_n\}$$

は各回の出た面（裏なら０、表なら１）の集まりですね。

このとき、確率変数 $X_n$ は出た面（表か裏か）の関数ですが、同時にサイコロを何回目に振ったかという順番 $n$ の関数にもなっています。

確率過程の定義

このように、

1. 確率変数を時間（$n$ 回目や時刻 $t$）と紐付け
2. 時間についてひとまとめにしたもの

を確率過程といいます。

とみー

なので、上の $\{X_i{\}}_{1\le i\le n}$ は確率過程です！

ざっくりと、$n$ 回目の出来事を表す確率変数を集めたもの、くらいのイメージが掴めればOKです。

続いては、マルコフ性です。

専門性を活かした就活で差をつけよう！

確率や統計の専門性は理系の就活でかなり優位に働きます。

そのため、エンジニア就活特化のプラットフォームを使えば他では見られない高待遇な就職先が見つかります！

	特徴	リンク
UZUZ理系	内定率 86% 以上！ ブラック企業徹底排除 機械・電気電子・情報系は特に求人多数	【UZUZ】
エンジニア就活	未経験から即戦力まで幅広く対応 IT企業特化の企業研究・就活コラム 企業から直接スカウトも！	【エンジニア就活】
レバテックルーキー	書類通過率 90% 以上 プログラミング経験者限定のハイクラス求人 新卒年収 500 万円以上の求人も！	レバテックルーキー

経験不足で大丈夫かな…という方はプログラミングスクールでスキルアップしておくとバッチリです。

	特徴	リンク
エンジニアズゲート	完全無料のプログラミングスクール！ 95% 超えの就職率 専任のキャリアアドバイザーがサポート	エンジニアズゲート
TechAcademy	Web 制作・アプリ開発・AI など幅広いコース 学割あり 初心者からでも副業できるレベルのスキルが身に付く！	テックアカデミー無料体験

とみー

エンジニアズゲート は特に完全無料なので検討の余地ありです！

マルコフ性とは

マルコフ性の定義

マルコフ性とは、

という性質です。

こちらも具体例を通して理解しましょう。

マルコフ性の具体例

とみー

次のようなすごろくを考えます。

今回は、$n$ 回サイコロを振った後にいるマス目の値を確率変数 $X_n$ とします。

正解は、

のいずれかの場合です。

ここで重要なのは、$n$ 回目より前にどこにいたか（$X_0,\cdots ,X_{n-1}$）は関係ないということです。過去にどんなマスにいようと、$n+1$ 回目にどこにいるかは $n$ 回目にどこにいるかだけで決まるのです。

とみー

これがマルコフ性です。

マルコフ連鎖とは

以上をまとめると、冒頭の定義の繰り返しになりますが、

1. マルコフ性を備えた
2. 確率過程

をマルコフ連鎖といいます。

確率過程 $\{X_n{\}}_{n\in {\mathbb{Z}}_{+}}$ がマルコフ過程であることは、数式で書くと次のようになります。

とみー

条件付き確率の「直前の条件以外」は全部無視できるという意味です！

参考 マルコフ連鎖かどうかを判定する方法は、こちらの記事で詳しく解説しています。

マルコフ連鎖の判定法と状態遷移図

どうも！初めましての方は初めまして、初心者のWebサイト勉強のとみーです！ $$\mathbb{P}(X_{n+1} = j | X_n = i, \color{red}\cdots, X_0 = i_0\color{black}) = \...

www.beginner-blogger.com

斉時的なマルコフ連鎖

マルコフ連鎖の中には、斉時的なマルコフ連鎖というものが存在します。

斉時的なマルコフ連鎖の定義

斉時性は

という性質です。

数式で見るとこんな感じです。

確率変数の添字に注目しましょう。

これは、$n$ 回目で状態 $i$ のときに $n+1$ 回目で状態 $j$ となる確率は

のすべてと同じということを意味しています。

とみー

つまり、今が何回目でも状態 $i$ から状態 $j$ に遷移する確率は変わらないということです。

斉時的なマルコフ連鎖の具体例

先ほどのすごろくの例に戻りましょう。

これは、数式で書けばどんな $n$ に対しても

$$\mathbb{P}(X_{n+1}=2|X_n=1)=\frac{1}{6}$$

が成り立つことと同じです。

そのため、マス１からマス２に移動する確率 $p_{12}$ は $n$ に関係なく

$$p_{12}=\frac{1}{6}$$

となります。

同様に、すべての $(i,j)\in \{1,\cdots ,9\}$ について、$n$ とは関係なくマス $i$ からマス $j$ へ移動する確率が求められるので、$\{X_n{\}}_{n\in \mathbb{N}}$ は斉時的なマルコフ連鎖です。

参考 斉時的なマルコフ連鎖の性質について、こちらの記事でさらに細かく解説しています！

斉時的なマルコフ連鎖の性質－推移確率・状態確率をわかりやすく

どうも！初めましての方は初めまして、初心者のWebサイト勉強のとみーです！ マルコフ連鎖を考えるときは、斉時的なマルコフ連鎖を仮定して話を進めることが多いです。 参考 斉時的なマルコフ連鎖とは？という方は、こちらの記事をご覧ください。 とみ...

www.beginner-blogger.com

まとめ

今回は、確率過程のマルコフ連鎖についてご紹介しました。