---

時点3での各段にいる確率はどうなるでしょうか？

答えは，時点2での位置が分かれば，時点1でどこにいたかは，関係しません．時点2でどこにいたかが関係します．
これは，マルコフ連鎖の性質です．1つ前だけのことを考えます．
時点2の時と同様のことを行います．



これは，時点2の時のベクトルです．

推移行列は，同様です．



となります．これもマルコフ連鎖の性質です．
ここで，それぞれの要素を掛けて，それらを足すという計算を行います．

そうすると，



このような周辺確率，つまり確率ベクトルが得られます．

このようにして，どんどん次の周辺分布，次の周辺分布と求めていくことが出来ます．
そうすると，だんだん0の数が少なくなってきます．
時点が先に行くほど滑らかになり，だんだん右に延びていきます．

よってこの場合，各時点で周辺確率が異なります．
よって，定常でない，つまり「非定常(non stationay)」といいます．

面白いのは，時点1での分布がだんだん滑らかになってくるということです．
この時点1の分布の周辺確率を初期分布(initial distribution)といいます．