
4.2 マルコフ連鎖
1. マルコフ連鎖の定義
今,

このような,無限のフィールドを考えてみましょう.
は
番目の時刻に関する事象の集まり,とします.
時刻は,連続的なものですが,分単位で区切るとすると, 時刻を整数で表すことが出来ます.
すなわち,何番目の時刻というように表すことが出来ます.
さて,各時点でサイコロを振ります.
そうすると,次のようないろいろな事象を考えることが出来ます.
A={3番目の時点で偶数が出る}
B={4番目の時点で3以上が出る}
C={1番目の時点で3以下が出る}
…
…
ここで,
番目の時点に関するもののみの事象だけを集めたものを
とします(
=1,2,3,…).
さらに事象には,複雑なものが考えられます.
1番目の時点で3が出て,3番目の時点で5が出る,という事象も考えられます.
この場合,1番目の時点と3番目の時点の両方に関係しているので,この事象は,
,
,
の事象には入りません.
これは両方の時点にまたがったものだからです.
さて,今,
と
に着目すると,条件付確率が考えられます.


とすると,
条件付確率
が得られます.
これにより,確率行列
が得られます.
と
は隣り合っています.
この時,
の場所によらず
は一定と仮定します(
は一定とは限らない).
なる任意の事象に対し,
.
1,2,をみたす時に,
…を「マルコフ連鎖(Markov
Chain)」といいます.
マルコフ連鎖は考慮すべき過去が1つ前の時点のみの過程(process)です.
古い過去は考慮せず,1つ前の過去だけ考慮すれば,事象の確率が計算できます(従ってこの過程は条件付確率
と確率行列
だけで決まる).
例えていえば,記憶力が悪く,昨日の事のみおぼえており,一昨日以前の事はおぼえていない人の行動のようです.