Scarica Note sulla Teoria delle Catene di Markov: Definizioni e Proprietà e più Appunti in PDF di Statistica solo su Docsity!
Nota: Di seguito riporto una lista di risultati teorici discussi a lezioni, fatta eccezione delle misure di Gibbs e del metodo Monte Carlo (che non sono oggetto di verifica scritta). Queste note possono non essere esaustive, per ulteriori concetti e propriet`a vedere gli appunti delle lezioni che stanno in rete sulla mia homepage e che rappresentano il riferimento assoluto. Confrontare con gli appunti delle lezioni per eventuali errori di battitura. Prof. A. Faggionato
- Catene di Markov Di seguito I `e un insieme finito.
Una distribuzione λ su I e una misura di probabilita su I. Possiamo identificare le distribuzioni su I con le funzioni λ : I → [0, 1] per cui
i∈I λi^ = 1. Una matrice stocastica P = (pi,j )i,j∈I `e una matrice con entrate parametrizzate dalle coppie di elementi di I per cui
j∈I pi,j^ = 1 per ogni^ i^ ∈^ I. Vedere appunti lezione 2 per la rappresentazione grafica di una matrice stocastica tramite un grafo orientato con pesi.
Definition 1.1. Dati P = (pij ) matrice stocastica su I e λ : I → [0, 1] distribuzione su I, una successione (Xn)n≥ 0 di variabili aleatorie a valori in I (definite sullo stesso spazio di probabilita)e detta catena di Markov con matrice di transizione P e distribuzione iniziale λ se
(1) P(X 0 = i) = λi per ogni i ∈ I , (2) per ogni n ≥ 0 e i 0 , i 1 ,... , in+1 ∈ I vale
P(Xn+1 = in+1 | X 0 = i 0 , X 1 = i 1 ,... , Xn = in) = pin,in+ se P(X 0 = i 0 , X 1 = i 1 ,... , Xn = in) > 0
Nota: Di seguito, per abbreviare, scriveremo che (Xn)n≥ 0 e CM(λ, P ) se (Xn)n≥ 0e catena di Markov con matrice di transizione P e distribuzione iniziale λ
Theorem 1.2. Sia P = (pij ) matrice stocastica su I e sia λ : I → [0, 1] distribuzione su I. Una successione (Xn)n≥ 0 di variabili aleatorie a valori in I (definite sullo stesso spazio di probabilita)e CM(λ, P ) se e solo se per ogni n ≥ 0 e i 0 , i 1 ,... , in ∈ I vale
P(X 0 = i 0 , X 1 = i 1 ,... , Xn = in) = λi 0 pi 0 ,i 1 pi 1 ,i 2 · · · pin− 1 ,in. (1)
Si noti che (1) ci fornisce una regola per calcolare la probabilita degli eventi del tipo {X 0 = i 0 , X 1 = i 1 ,... , Xn = in} (in cui osservo il sistema dal tempo 0 al tempo n). Abbiamo provato una forma piu generale di regola di calcolo:
Theorem 1.3. Sia (Xn)n≥ 0 una CM (λ, P ). Allora, dati 0 ≤ n 1 < n 2 < · · · < nk e dati i 1 ,... , ik ∈ I, vale
P(Xn 1 = i 1 , Xn 2 = i 2 ,... , Xnk = ik) = (λP n^1 )i 1 (P n^2 −n^1 )i 1 ,i 2 · · · (P nk^ −nk−^1 )ik− 1 ,ik , (2)
dove nel membro destro λ `e pensato come vettore riga. 1
2
Abbiamo discusso anche la proprieta di Markov (proprieta di perdita di memoria) delle catene di Markov:
Theorem 1.4. Sia (Xn)n≥ 0 una CM (λ, P ). Siano m ≥ 0 intero e i ∈ I. Allora, rispetto alla misura di probabilita P (·|Xm = i), la successione di variabili aleatorie (Xm+n)n≥ 0e CM (δi, P ) ed `e indipendente dalle variabili aleatorie X 0 , X 1 ,... , Xm.
Lemma 1.5. Sia P una misura di probabilit`a. Siano G, H eventi. Sia Q := P (·|G). Allora Q(·|H) = P (·|G ∩ H).
Combinando il Teorema 1.4 con il Lemma 1.5 abbiamo ottenuto:
Theorem 1.6. Sia (Xn)n≥ 0 catena di Markov su I. Siano m ≥ 0 intero e i ∈ I. Sia A un evento determinato da Xm, Xm+1, Xm+2, ... e sia B un evento determinato da X 0 , X 1 ,... , Xm− 1. Allora
P(A | B ∩ {Xm = i}) = P (A|Xm = i). (3)
1.1. Conduzione, comunicazione, classi comunicanti, irriducibilit`a.
Definition 1.7. Sia P matrice stocastica su I. Dati i, j ∈ I diciamo che i conduce a j, e scriviamo i → j, se Pi(Xn = j per qualche n ≥ 0) > 0 , dove per Pi(·) intendiamo la probabilit`a per la catena di Markov che inizia nello stato i.
A lezione abbiamo visto che i → j se e solo se possiamo andare da i a j nel grafo orientato pesato che rappresenta la matrice P spostandoci lungo i lati del grafo rispettandone l’orientazione.
Definition 1.8. Sia P matrice stocastica su I. Dati i, j ∈ I diciamo che i e j comunicano se i → j e j → i.
A lezione abbiamo visto che la relazione di comunicazione tra stati e una relazione di equi-valenza. Le classi di equivalenza associate sono dette classi comunicanti. Una matrice stocasticae detta irriducibile se ha un’unica classe comunicante.
1.2. Stazionariet`a.
Definition 1.9. Data una matrice stocastica P , una distribuzione λ : I → [0, 1] si dice invariante (o stazionaria) rispetto a P se λP = λ (λ va pensata come vettore riga).
Definition 1.10. Sia (Xn)n≥ 0 CM(λ, P ). (Xn)n≥ 0 si dice invariante (o stazionaria) se per ogni ogni m ≥ 0 la catena di Markov (Xn+m)n≥ 0 `e anch’essa CM(λ, P ).
Theorem 1.11. Una catena di Markov (Xn)n≥ 0 di parametri (λ, P ) e stazionaria se e solo se λe distribuzione stazionaria rispetto a P.
Theorem 1.12. Se P e irriducibile (e siccome per ipotesi Ie finito) allora P am- mette un’unica distribuzione invariante λ. Inoltre tale distribuzione invariante λ soddisfa λi > 0 per ogni i.
1.3. Reversibilit`a.
Definition 1.13. Data una matrice stocastica P , una distribuzione λ : I → [0, 1] si dice reversibile (o che soddisfa l’equazione del bilancio dettagliato) rispetto a P se
λipi,j = λj pj,i ∀i, j ∈ I. (4)
