Studiuj dzięki licznym zasobom udostępnionym na Docsity
Zdobywaj punkty, pomagając innym studentom lub wykup je w ramach planu Premium
Przygotuj się do egzaminów
Studiuj dzięki licznym zasobom udostępnionym na Docsity
Otrzymaj punkty, aby pobrać
Zdobywaj punkty, pomagając innym studentom lub wykup je w ramach planu Premium
Społeczność
Odkryj najlepsze uniwersytety w twoim kraju, według użytkowników Docsity
Bezpłatne poradniki
Pobierz bezpłatnie nasze przewodniki na temat technik studiowania, metod panowania nad stresem, wskazówki do przygotowania do prac magisterskich opracowane przez wykładowców Docsity
Praca magisterska
Typologia: Prace dyplomowe
1 / 50
Ta strona nie jest widoczna w podglądzie
Nie przegap ważnych części!
Procesy narodzin i ±mierci z czasem dyskretnym s¡ szczególn¡ klas¡ ªa«cuchów Markowa z
czasem dyskretnym okre±lonych na ponumerowanej przestrzeni stanów, w których mo»liwe s¡
przej±cia wyª¡cznie pomi¦dzy s¡siednimi stanami. Gdy stan ukªadu zwi¦ksza si¦ o jeden to ma-
my do czynienia z narodzinami, a gdy zmniejsza si¦ o jeden ze ±mierci¡. Cho¢ nazwa jest do±¢
sugestywna i dobrze oddaje charakter tych»e procesów, to sam stan ukªadu nie musi koniecznie
oznacza¢ liczno±ci pewnej populacji. Procesy narodzin i ±mierci poza naturalnym zastosowa-
niem w naukach biologicznych s¡ równie» wykorzystywane w teorii systemów kolejkowych, a
tak»e mi¦dzy innymi do modelowania procesów zycznych i bª¡dze« przypadkowych.
W niniejszej pracy skupimy si¦ na procesach okre±lonych na sko«czonej przestrzeni stanów i
jednorodnych w czasie, które to opisane s¡ przy pomocy macierzy przej±¢ w jednym kroku.
Wprowadzimy niezb¦dne poj¦cia dotycz¡ce teorii warto±ci i wektorów wªasnych, a tak»e ich za-
stosowanie w analizie istotnych wªasno±ci ªa«cuchów Markowa. Zaprezentujemy stochastyczn¡
interpretacj¦ warto±ci wªasnych poprzez ich zwi¡zek z tempem zbie»no±ci do stacjonarno±ci nie-
okresowych i nieredukowalnych procesów narodzin i ±mierci. Podamy tak»e zwi¡zek warto±ci i
wektorów wªasnych z rozkªadem prawdopodobie«stwa warunkowego przej±¢ pomi¦dzy stanami
w n krokach.
Nast¦pnie, przedstawimy kilka klasycznych i dobrze znanych przykªadów procesów narodzin i
±mierci takich jak poste bª¡dzenie losowe w zbiorze Z ∩ [0, N ], proces urnowy Ehrenfestów, a
tak»e proces urnowy Bernoulliego Laplace'a. Wyliczymy analitycznie ich warto±ci wªasne, a w
przypadku procesu prostego bª¡dzenia losowego z ekranami elastycznymi w zbiorze Z ∩ [0, N ]
tak»e wektory wªasne. Posªu»ymy si¦ wªasno±ciami macierzy Toeplitza, macierzy Kaca, a tak»e
macierzy s¡siedztwa grafu hiperkostki, które to oka»¡ si¦ ±ci±le powi¡zane z rozwa»anymi pro-
cesami narodzin i ±mierci.
W gªównej cz¦±ci pracy wykorzystamy teori¦ ªa«cuchów Strong Stationary Dual do wyznacze-
nia warto±ci wªasnych pewnego zupeªnie nowego procesu narodzin i ±mierci X
∗
. W tym celu
policzymy warto±ci wªasne procesu X bª¡dzenia losowego po hiperkostce, który nie jest proce-
sem narodzin i ±mierci, a nast¦pnie udowodnimy, »e procesy X
∗ , X maj¡ takie same warto±ci
wªasne.
Praca ta b¦dzie wi¦c ilustracj¡ zastosowa« algebry liniowej, gªównie teorii warto±ci i wektorów
wªasnych, w rachunku prawdopodobie«stwa.
De nicja 2.1. Niech dana b¦dzie macierz kwadratowa A stopnia n 1. Wielomianem cha-
rakterystycznym macierzy A nazywamy wielomian n-tego stopnia okre±lony wzorem
WA (λ) = det ( A − λ I ) , (1)
gdzie I jest macierz¡ jednostkow¡ stopnia n. Ponadto, równaniem charakterystycznym macierzy
A nazywamy równanie nast¦puj¡cej postaci
WA (λ) = 0. (2)
De nicja 2.2. Niech dana b¦dzie macierz kwadratowa A stopnia n 1.
charakterystycznego tej macierzy.
x = [x 1 , x 2 ,... , x n ]
T 6 =
0 nazywamy wektorem wªasnym macierzy A stowarzy-
szonym z warto±ci¡ wªasn¡ λ, je±li speªniony jest nast¦puj¡cy warunek
x = λ
x. (3)
f = [f 1 , f 2 ,... , f n ] 6 =
0 nazywamy lewostronnym wektorem wªasnym macierzy
A stowarzyszonym z warto±ci¡ wªasn¡ λ, je±li speªniony jest nast¦puj¡cy warunek
f A = λ
f. (4)
Ka»da macierz kwadratowa A stopnia n 1 posiada wi¦c n warto±ci wªasnych λ 1 ,... , λ n (nie-
koniecznie ró»nych). Niech
x (^) i b¦dzie wektorem wªasnym odpowiadaj¡cym warto±ci wªasnej λ i ,
wtedy
x (^) i jest liniowo niezale»ny od wszystkich wektorów wªasnych odpowiadaj¡cych warto-
±ciom wªasnym ró»nym od λ i. Zatem, je±li wszystkie warto±ci wªasne λ 1 , λ 2 , ..., λ n s¡ ró»ne, to
odpowiadaj¡ce im wektory wªasne
x 1 ,
x 2 , ...,
x (^) n tworz¡ zbiór liniowo niezale»ny.
De nicja 2.3. Niech dana b¦dzie macierz kwadratowa A stopnia n 1. Ponadto, niech λ i
b¦dzie warto±ci¡ wªasn¡ macierzy A stowarzyszon¡ z wektorem wªasnym
x (^) i , i = 1,... , n.
Mówimy, »e A jest diagonalizowalna, gdy mo»na j¡ przedstawi¢ w postaci iloczynu
− 1 , (5)
gdzie D jest macierz¡ diagonaln¡ z warto±ciami wªasnymi λ 1 , λ 2 , ..., λ n na gªównej przek¡tnej,
a i-ta kolumna macierzy P jest wektorem wªasnym
x (^) i stowarzyszonym z warto±ci¡ wªasn¡ λ i.
Twierdzenie 2.3. Niech A b¦dzie macierz¡ kwadratow¡ oraz niech λ b¦dzie warto±ci¡ wªasn¡
macierzy A. Wtedy αλ jest warto±ci¡ wªasn¡ macierzy α A , α ∈ R.
Dowód Twierdzenia 2.3.
Niech
x 6 =
0 b¦dzie wektorem wªasnym macierzy A stowarzyszonym z warto±ci¡ wªasn¡ λ.
Wtedy
(α A )
x = α ( A
x ) = α (λ
x ) = (αλ)
x.
St¡d
x 6 =
0 jest wektorem wªasnym macierzy α A stowarzyszonym z warto±ci¡ wªasna αλ.
Twierdzenie 2.4. Niech A b¦dzie macierz¡ kwadratow¡ stopnia n ∈ N oraz niech λ b¦dzie
warto±ci¡ wªasna macierzy A. Wtedy αλ + β jest warto±ci¡ wªasn¡ macierzy α A + β I , gdzie I
jest macierz¡ jednostkow¡ stopnia n oraz α, β ∈ R.
Dowód Twierdzenia 2.4.
Niech
x 6 =
0 b¦dzie wektorem wªasnym macierzy A stowarzyszonym z warto±ci¡ wªasn¡ λ.
Wtedy
(α A + β I )
x = (α A )
x + (β I )
x = α ( A
x ) + β ( I
x ) = αλ
x + β
x = (αλ + β)
x.
St¡d
x 6 =
0 jest wektorem wªasnym macierzy α A + β I stowarzyszonym z warto±ci¡ wªasna
αλ + β.
Twierdzenie 2.5. Niech dana b¦dzie macierz kwadratowa A stopnia n 1 z warto±ciami
wªasnymi λ 1 ,... , λ n , wektorami wªasnymi
x 1 ,... ,
x (^) n i lewostronnymi wektorami wªasnymi
f 1 ,... ,
f (^) n. Je±li macierz A jest symetryczna, to
x
T i
f (^) i , i = 1,... , n.
Dowód Twierdzenia 2.5.
Je±li λ i jest warto±ci¡ wªasn¡ macierzy A stowarzyszon¡ z wektorem wªasnym
x (^) i , to
x (^) i = λ i
x (^) i.
St¡d, transponuj¡c obie strony powy»szego równania otrzymujemy
x (^) i )
x
T
i
x
T
i
A = λ i
x
T
i
Zatem
x
T i
jest lewostronnym wektorem wªasnym macierzy A stowarzyszonym z warto±ci¡
wªasna λ i.
2.1.1 Reprezentacja spektralna
Niech dana b¦dzie macierz kwadratowa A stopnia n 1. Ponadto, niech λ i oznacza warto±¢
wªasn¡ macierzy A stowarzyszon¡ z wektorem wªasnym
x (^) i = [x i (1),... , x i (n)]
T oraz z lewo-
stronnym wektorem wªasnym
f (^) i = [f i (1),... , f i (n)], i = 1,... , n. Zaªó»my, »e macierz A jest
diagonalizowalna. Wówczas, macierz A mo»e by¢ wyra»ona jako iloczyn A = PDP
− 1 , gdzie
x 1 (1)... x n (1)
x 1 (n)... x n (n)
λ 1 0
0 λ n
f 1 (1)... f 1 (n)
f n (1)... f n (n)
Ponadto, PP
− 1 = I , gdzie I jest macierz¡ jednostkow¡ odpowiednich wymiarów. St¡d
f (^) j
x (^) k =
∑
i
f j (i)x k (i) =
0 , gdy j 6 = k,
1 , gdy j = k.
Niech B k b¦dzie macierz¡ powstaªa poprzez wymno»enie wektora wªasnego
x (^) k przez lewo-
stronny wektor wªasny
f (^) k
B k =
x k (1)
x k (n)
[
f k (1),... , f k (n)
]
x k (1)f k (1)... x k (1)f k (n)
x k (n)f k (1)... x k (n)f k (n)
Z równania (8) wynika, »e
B j B k =
x (^) j
f (^) j
x (^) k
f (^) k =
0 , gdy j 6 = k,
B j , gdy j = k.
Zatem
∑^ n
i =
(
∑ n
j =
P (1, j) D (j, i)
)
− 1 (i, 1)...
∑ n
i =
(
∑ n
j =
P (1, j) D (j, i)
)
− 1 (i, n)
∑^ n
i =
(
∑ n
j =
P (n, j) D (j, i)
)
− 1 (i, 1)...
∑ n
i =
(
∑ n
j =
P (n, j) D (j, i)
)
− 1 (i, n)
∑^ n
i =
P (1, i) D (i, i) P
− 1 (i, 1)...
∑ n
i =
P (1, i) D (i, i) P
− 1 (i, n)
∑^ n
i =
P (n, i) D (i, i) P
− 1 (i, 1)...
∑ n
i =
P (n, i) D (i, i) P
− 1 (i, n)
∑^ n
i =
λ i x i (1)f i (1)...
∑ n
i =
λ i x i (1)f i (n)
∑^ n
i =
λ i x i (n)f i (1)...
∑ n
i =
λ i x i (n)f i (n)
= λ 1 B 1 + ... + λ n B n.
De nicja 2.7. Trójdiagonalna macierz Toeplitza stopnia n ∈ N to macierz nast¦puj¡cej postaci
T n (a, b, c) =
b c 0
a
. (^) c
0 a b
Trójdiagonalne macierze Toeplitza s¡ szczególnie interesuj¡ce, bo s¡ one jednymi z nielicznych
nietrywialnych struktur, dla których jeste±my w stanie wyznaczy¢ analitycznie wzory na ich
warto±ci i wektory wªasne.
Twierdzenie 2.6. Warto±ci wªasne trójdiagonalnej macierzy Toeplitza T n (a, b, c) s¡ postaci
λ i = b + 2c
√ a
c
cos
( iπ
n + 1
)
, i = 1,... , n. (13)
Ponadto, wektor wªasny
x (^) i stowarzyszony z warto±ci¡ wªasn¡ λ i , i = 1,... , n jest postaci
x (^) i =
( a
c
) 1 2 sin
( 1 iπ
n +
)
( a
c
) 2 2 sin
( 2 iπ
n +
)
( a
c
) k 2 sin
( kiπ
n +
)
( a
c
) n 2 sin
( niπ
n +
)
Pomysª poni»szego dowodu zostaª zaczerpni¦ty z [14], Przykªad 7.2.5.
Dowód Twierdzenia 2.6.
Niech λ b¦dzie warto±ci¡ wªasn¡ macierzy T n (a, b, c), ac 6 = 0 stowarzyszon¡ z wektorem wªa-
snym
x = [x 1 , x 2 ,... , x n ]
T
. Wtedy, dla pary (λ,
x ) speªniony jest ukªad zªo»ony z n równa«
liniowych
(T n (a, b, c) − λ I )
x = 0 ⇐⇒
ax k− 1 + (b − λ)x k + cx k +1 = 0 k = 1,... , n,
x 0 = x n +1 = 0.
St¡d, dziel¡c przez c i podstawiaj¡c k := k + 1, otrzymujemy jednorodne równanie ró»nicowe
drugiego stopnia o staªych wspóªczynnikach, wraz z warunkami brzegowymi
x k +2 +
b−λ
c
x k +1 +
a
c
x k = 0, k = 0,... , n − 1 ,
x 0 = x n +1 = 0.
Rozwi¡zania równania (15) poszukujemy w±ród funkcji pot¦gowych postaci x k = αr
k , gdzie
α, r ∈ C s¡ pewnymi staªymi. Podstawiaj¡c tak okre±lone rozwi¡zanie do równania (15) i
dziel¡c przez αr
k otrzymujemy równanie kwadratowe
r
2
b − λ
c
r +
a
c
= (r − r 1 )(r − r 2 ) = 0, gdzie r 1 , r 2 ∈ C.
Wtedy, ogólne rozwi¡zanie rozwa»anego ukªadu jest postaci
x k =
α 1 r
k 1
k 2
, gdy r 1 6 = r 2 ,
α 1 r
k 0
k 0
, gdy r 1 = r 2 = r 0 ,
gdzie α 1 , α 2 ∈ C s¡ dowolnymi staªymi. Zauwa»my ponadto, »e r 1 oraz r 2 musz¡ by¢ ró»ne.
W przeciwnym przypadku x k = α 1 r
k 0
k 0
wraz z warunkami brzegowymi x 0 = x n +1 = 0
implikuje x k = 0, k = 1,... , n co nie jest mo»liwe, gdy»
x jest wektorem wªasnym macierzy
T n (a, b, c), zatem
x 6 =
x k = α 1 r
k 1
k 2
x 0 = x n +1 = 0
α 1 = − α 2
0 = α 1 r
n + 1 +^ α^2 r
n + 2
( r 1
r 2
) n +
α 1
α 2
zatem
r 1
r 2
n +
1 = e
2 πil n +1 (^) dla pewnego l ∈ N ∩ [0, n + 1]. Ponadto
r
2
b − λ
c
r +
a
c
= (r − r 1 )(r − r 2 ) ⇒
r 1 + r 2 = −
b−λ
a
r 1 r 2 =
a
c
Mamy wi¦c ukªad, z którego mo»emy wyznaczy¢ r 1 oraz r 2
r 1 = r 2 e
2 πil n +
r 1 r 2 =
a
c
r 1 = r 2 e
2 πil n +
r
2 2
a
c
e
− 2 πil n +
r 1 =
√ a
c
e
πil n +1 (^) ,
r 2 =
√ a
c
e
−πil n + (^).
Podstawiaj¡c (18) do równania r 1 + r 2 = −
b−λ
a
otrzymamy
r 1 + r 2 =
√ a
c
(
e
πil n +
−πil n +
)
b − λ
a
Korzystaj¡c z to»samo±ci e
iφ = cos φ + i sin φ
√ a
c
(
cos
(
πl
n + 1
)
(
πl
n + 1
)
(
− πl
n + 1
)
(
− πl
n + 1
))
b − λ
a
Ze wzgl¦du na parzysto±¢ cosinusa i nieparzysto±¢ sinusa otrzymujemy
√ a
c
cos
(
πl
n + 1
)
b − λ
a
⇒ λ = b + 2a
√ a
c
cos
(
πl
n + 1
)
Dlatego, warto±ci wªasne trójdiagonalnej macierzy Toeplitza T n (a, b, c) musz¡ by¢ postaci
λ i = b + 2c
√ a
c
cos
( iπ
n + 1
)
, i = 1,... , n,
b T 1 − ac T 0. Wiadomo tak»e, »e T 1 = b, st¡d b
2 − ac = b
2 − ac T 0 ⇐⇒ 0 = ac ( T 0 − 1) , a
poniewa» ac 6 = 0 zatem T 0 = 1.
Dla n 3
Teza twierdzenia wynika wprost z rozwini¦cia Laplace'a T n (a, b, c) wzgl¦dem pierwszego
wiersza.
2.1.3 Trójdiagonalne pseudo macierze Toeplitza
Praca ta po±wi¦cona jest warto±ciom wªasnym procesów narodzin i ±mierci. Procesy te opisane
s¡ przy pomocy macierzy stochastycznych. Z tego powodu teoria dotycz¡c¡ trójdiagonalnych
macierzy Toeplitza T n (a, b, c), ac 6 = 0 nie ma tu bezpo±redniego zastosowania. Niemniej, istnieje
mo»liwo±¢ wykorzystania wªasno±ci trójdiagonalnych pseudo macierzy Toeplitza.
De nicja 2.8. Trójdiagonalna pseudo macierz Toeplitza T
N n 1
(a, b, c), ac 6 = 0 to kwadratowa
macierz blokowa stopnia N 3 postaci
N
n 1
(a, b, c) =
A n 2
c¯
a
T n 1
(a, b, c)
c
¯a B n 3
, gdzie
A n 2
b 1 c 1 0
a 2
. (^) c n 2 − 1
0 a n 2
b n 2
, B n 3
b N +1 −n 3
c N +1 −n 3
a N +2 −n 3
. (^) c N − 1
0 a N b N
oraz N = n 1 + n 2 + n 3.
Szczególnie interesuj¡cy jest dla nas przypadek gdy n 2 = n 3 = 1 oraz A 1 = [a 1 ] i B 1 = [b N ]
n +
n
(a, b, c) =
a 1 c¯
a T n (a, b, c) c
¯a b N
Twierdzenie 2.8. Niech dana b¦dzie trójdiagonalna pseudo macierz Toeplitza stopnia N =
n + 2, n 1 postaci
n +
n
(a, b, c) =
b c + a
a T n (a, b, c) c
a + c b
oraz niech a + b + c = 1. Wtedy macierz T
n + n
(a, b, c) posiada n + 2 ró»ne warto±ci wªasne
λ 1 ,... , λ n +2. Ponadto λ n +1 = 1, λ n +2 = 2b − 1 , a λ 1 ,... , λ n s¡ warto±ciami wªasnymi trójdia-
gonalnej macierzy Toeplitza T n (a, b, c).
Dowód Twierdzenia 2.8.
Na potrzeby tego dowodu przyjmijmy nast¦puj¡ce oznaczenie det(T n (a, b − λ, c)) ≡ Tn , wówczas
det
(
n + n (a, b, c)^ −^ λ I
)
∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣
∣ ∣ ∣
b − λ c + a
a T n (a, b − λ, c) c
a + c b − λ
∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣
∣ ∣ ∣
Stosuj¡c rozwini¦cie Laplace'a wzgl¦dem pierwszego wiersza m
(b − λ)
∣ ∣ ∣ ∣ ∣ ∣ ∣
T n (a, b − λ, c) c
a + c b − λ
∣ ∣ ∣ ∣ ∣ ∣ ∣
− a (a + c)
∣ ∣ ∣ ∣ ∣ ∣ ∣
T n− 1 (a, b − λ, c) c
a + c b − λ
∣ ∣ ∣ ∣ ∣ ∣ ∣
Stosuj¡c rozwini¦cie Laplace'a wzgl¦dem ostatniego wiersza m
(b − λ)
2 Tn − c (b − λ) (a + c) Tn− 1 − a (b − λ) (a + c) Tn− 1 + ac (a + c)
2 Tn− 2 = 0
⇐⇒ (b − λ)
2 Tn − (b − λ) (a + c)
2 Tn− 1 + ac (a + c)
2 Tn− 2 = 0
⇐⇒ (b − λ)
2 Tn − (a + c)
2 [(b − λ) Tn− 1 − ac Tn− 2 ] ︸ ︷︷ ︸
Tn
⇐⇒ (b − λ)
2 Tn − (a + c)
2 Tn = Tn
(
(b − λ)
2 − (a + c)
2
)
⇐⇒ Tn (b + a + c − λ) (b − a − c − λ) = Tn (1 − λ) [(2b − 1) − λ] = 0
Twierdzenie 2.9. Niech dana b¦dzie trójdiagonalna pseudo macierz Toeplitza stopnia N =
n + 2, n 1 postaci
n +
n
(a, b, c) =
b + a c
a T n (a, b, c) c
a b + c
Suma poszczególnych wierszy macierzy Kaca K N jest równa N , zatem macierz
1
N
K N jest ma-
cierz¡ stochastyczn¡. Ze wzgl¦du na szczególn¡ posta¢ macierzy Kaca K N , dla ka»dego N ∈ N
jeste±my w stanie analitycznie wyznaczy¢ jej warto±ci wªasne. Jak si¦ pó¹niej oka»e, pomocna
b¦dzie poni»sza wªasno±¢ macierzy klatkowych.
Twierdzenie 2.10. Niech dana b¦dzie nast¦puj¡ca macierz klatkowa
, gdzie A = [a ij ] i =1 ,...,k j =1 ,...,k
, B = [b ij ] i =1 ,...,k j =1 ,...,n
, C = [c ij ] i =1 ,...,n j =1 ,...,k
, D = [d ij ] i =1 ,...,n j =1 ,...,n
Wówczas:
det
= det^ A^ det^ D.
det
= det^ A^ det^ D.
Dowód Twierdzenia 2.10.
Niech I N oznacza macierz jednostkow¡ stopnia N. Zauwa»my, »e:
=
I k 0
0 I n
,
ponadto, stosuj¡c rozwini¦cie Laplace'a kolejno wzgl¦dem pierwszych k i ostatnich n
wierszy otrzymujemy
det
I k 0
= det D, det
0 I n
= det A.
=
C I n
I k 0
,
ponadto, stosuj¡c rozwini¦cie Laplace'a kolejno wzgl¦dem ostatnich n i pierwszych k
wierszy otrzymujemy
det
C I n
= det A, det
I k 0
= det D.
Wtedy na mocy twierdzenia Cauchy'ego o wyznacznikach otrzymujemy tez¦ Twierdzenia 2.10.
Twierdzenie 2.11. Warto±ci wªasne macierzy Kaca K N s¡ postaci
λ k = N − 2 k, k = 0,... , N. (21)
Udowodnimy powy»sze twierdzenie wyznaczaj¡c miejsca zerowe wielomianu charakterystycz-
nego macierzy K N.
Dowód Twierdzenia 2.11.
Na potrzeby tego dowodu przyjmijmy nast¦puj¡ce oznaczenia dotycz¡ce operacji elementarnych
na wierszach i kolumnach:
Analogicznie dla ró»nicy wierszy i kolumn. Wówczas
det (K N − λ I ) =
∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣
− λ N 0 0... 0 0 0
1 − λ N − 1 0... 0 0 0
0 2 − λ N − 2... 0 0 0
0 0 0 0... N − 1 − λ 1
0 0 0 0... 0 N − λ
∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣
m k i := k i + k i− 2 , i = 3,... , N + 1
∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣
− λ N − λ N
1 − λ N
. (^) N − λ
. (^) N − 1 − λ N
. (^0 0) N − λ
∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣
De nicja 2.10. Niech (Ω, F , P ) b¦dzie przestrzeni¡ probabilistyczn¡, (E, E ) b¦dzie przestrzeni¡
mierzaln¡, za± T dowolnym podzbiorem liczb naturalnych. Procesem stochastycznym z czasem
dyskretnym o warto±ciach w E, okre±lonym na zbiorze T nazywamy ci¡g zmiennych losowych
X = { X t , t ∈ T } przyjmuj¡cych warto±ci w zbiorze E.
Indeks t ma zazwyczaj znaczenie czasu. St¡d, je±li zachodzi zdarzenie { X t = i } , to mówimy, »e
proces znajduje si¦ w chwili t w stanie i ∈ E, a zbiór warto±ci E procesu nazywamy przestrzeni¡
stanów.
Uwaga 2.1. Od tego momentu pisz¡c proces stochastyczny b¦dziemy mieli na my±li proces z
czasem dyskretnym.
De nicja 2.11. Proces stochastyczny X = { X t , t ∈ N } nazywamy jednorodnym ªa«cuchem
Markowa z czasem dyskretnym okre±lonym na sko«czonej przestrzeni stanów E, je±li ∀ i 0 ,... , i n , i, j ∈
E oraz n ∈ N
P (X n +1 = j | X n = i, X n− 1 = i n− 1 ,... , X 0 = i 0 ) = P (X n +1 = j | X n = i) = P ij. (22)
Prawdopodobie«stwo warunkowe P (X n +1 = j | X n = i) = P ij nazywamy prawdopodobie«stwem
przej±cia ze stanu i do stanu j w jednym kroku.
De nicja 2.12. Niech dany b¦dzie ªa«cuch Markowa X = { X t , t ∈ N } okre±lony na ponume-
rowanej przestrzeni stanów E = { 0 , 1 ,... , n }. Macierz P postaci
P 00 P 01... P 0 n
P 10 P 11... P 1 n
P n 0 P n 1... P nn
nazywamy macierz¡ prawdopodobie«stw przej±¢ w jednym kroku.
Zauwa»my, »e poniewa» P ij s¡ prawdopodobie«stwami, a ªa«cuch Markowa musi w ka»dej chwili
znajdowa¢ si¦ w pewnym stanie, wi¦c P jest macierz¡ stochastyczn¡, to znaczy ∀ i, j ∈ E P ij 0
oraz ∀ i ∈ E
∑
j∈E
P ij = 1.
Uwaga 2.2. Od tego momentu pisz¡c ªa«cuch Markowa b¦dziemy mieli na my±li jednorodny
ªa«cuch Markowa z czasem dyskretnym okre±lony na sko«czonej przestrzeni stanów.
De nicja 2.13. Niech dany b¦dzie ªa«cuch Markowa X = { X t , t ∈ N } okre±lony na przestrzeni
stanów E. Wówczas ∀ n, m ∈ N oraz ∀ i, j ∈ E prawdopodobie«stwo warunkowe postaci
P (X n + m = j | X n = i) = P ij (m), (24)
nazywamy prawdopodobie«stwem przej±cia ze stanu i do stanu j w m krokach.
Twierdzenie 2.12. Niech dany b¦dzie ªa«cuch Markowa X = { X t , t ∈ N } okre±lony na prze-
strzeni stanów E. Dla m, n ∈ N oraz i, j ∈ E zachodzi równo±¢
P ij (m + n) =
∑
k∈E
P ik (n)P kj (m). (25)
Wªasno±¢ (25) nazywamy równaniem Chapmana-Koªmogorowa.
Dowód Twierdzenia 2.12.
Rozwa»my prawdopodobie«stwo warunkowe po lewej stronie równania (25)
P ij (m + n) = P (X n + m = j | X 0 = i) =
∑
k∈E
P (X m + n = j, X n = k | X 0 = i)
∑
k∈E
P (X m + n = j | X n = k, X 0 = i)P (X n = k | X 0 = i)
∑
k∈E
P (X m + n = j | X n = k)P (X n = k | X 0 = i) =
∑
k∈E
P ik (n)P kj (m).
Macierz P
n utworzon¡ z prawdopodobie«stw P ij (n) nazywamy macierz¡ prawdopodobie«stw
przej±¢ w n krokach. Zauwa»my, »e równo±¢ (25) w zapisie macierzowym przyjmuje posta¢
n + m = P
n P
m
. (26)
De nicja 2.14. Niech dany b¦dzie ªa«cuch Markowa X = { X t , t ∈ N } okre±lony na przestrzeni
stanów E. Rozkªad prawdopodobie«stwa P (X 0 = i) = ν(i), i ∈ E taki, »e ∀ i ∈ E ν(i) 0 oraz
∑
k∈E
ν(k) = 1 nazywamy rozkªadem pocz¡tkowym ªa«cucha Markowa.
Znaj¡c pocz¡tkowy rozkªad prawdopodobie«stwa ν ªa«cucha Markowa X = { X t , t ∈ N } z prze-
strzeni¡ stanów E i macierz¡ przej±¢ P mo»emy wyznaczy¢ prawdopodobie«stwo wyst¡pienia
zdarzenia { X n = j }
P (X n = j) =
∑
k∈E
P (X n = j | X 0 = k) =
∑
k∈E
P kj (n)ν(k). (27)
