---

次の状態遷移図で表されるマルコフ連鎖の推移行列はどうなるでしょうか？




答えは，

＝

です．
これは，行方向に足すと1になっていますので，確率行列，推移行列になっています．

今，状態遷移図が，下記のようになっているとします．



このように状態が2つ以上のグループに分けられて互いに互いの遷移が無い，というケースが考えられますが，こうならない時，つまり分かれていない時は，過程は「エルゴード(ergodic)的」である，といいます．

分かれている時，過程は「非エルゴード(non ergodic)的」といいます．

ergodicは熱力学の用語です．

今，時点での周辺分布がとします．
そして，これが定常とします．つまりということです（初期分布を（，，，，，，，）とすると定常になります）．
今，1人の人をAさんとします．Aさんの段目を記録します．
Aさんが時点1では1段目，時点2では2段目，時点3では1段目， 時点4では2段目，時点5では3段目，時点6では4段目，というように記録していきます．

：

そして，この記録を，とします．
このが 時点でのAさんの段目とします．

例えば，Aさんが3段目にいた時間的割合はどのようになるかといいますと，

時点までの場合を考えるとすると，



となります．

定理：ほとんど全てのについて，

　　…は 3段目にいる事象を意味します．

となります．”殆ど全て”という意味は，成立する確率が1ということです．

エルゴード的で無い場合はこのようなことはいえません．
例えば1段目と2段目間しか行き来できず，3段目と4段目の間しか行き来できないとします（下図5，6，7，8段目も同様とする）．




（，，，，，，，）を初期確率とすると，これも定常です．
しかし，たまたまAさんが1段目にいたとすると，絶対に3段目には行けませんので，1段目と2段目でずつの周辺分布しか持てません．
割合で行くと，Aさんにとっては，



となります．
しかし，Bさんにとっては，たまたま3に居たら，



ということになります．
ところで初期分布から考えて



となります．
このように，AさんとBさんの選び方によって，違う値になってしまいます．