Baixe Processos estocásticos e outras Notas de estudo em PDF para Cultura, somente na Docsity!
CCAAPPÍÍTTUULLOO 22 – – PPRROOCCEESSSSOOSS EESSTTOOCCÁÁSSTTIICCOOSS
1 - Introdução
A variação de tráfego em um cruzamento que envolve a formação e dissipação de congestionamento de tráfego.
A variação diária do nível de estoques de um determinado produto.
A demanda semanal de um determinado produto.
Representação Gráfica de um Processo Estocástico
2 - Definição
Processos Estocásticos são fenômenos que variam em algum grau, de
forma imprevisível, à medida que o tempo passa. Neste caso, o
experimento aleatório determina o comportamento de algum sistema
para uma seqüência de variáveis aleatórias, num determinado
intervalo de tempo.
X 1 X 2
X 4
Xn
Tempo
3
X 3
4
2
1
n
f(Xt=xt)= ∂ F(Xt=xt )/ ∂x
3 – Fator Tempo
Já que um processo estocástico envolve o comportamento de um
sistema ao longo do tempo, deve-se especificar o conjunto de tempo T
envolvido, durante a definição do processo.
O conjunto de tempo T pode ser o intervalo de tempo em uma
situação na qual valores de interesse são medidos continuamente.
Exemplos: a) Medição do nível mensal de estoques de uma empresa.
→ Processo estocástico de parâmetro discreto.
b) Medição do índice pluviométrico em estação meteo- rológica → Processo estocástico de parâmetro contínuo.
Assim, supõe-se que a cada ponto t do conjunto T pode-se observar
uma variável aleatória Xt. Se um resultado experimental for indicado
por s, então:
Xt (s) para t ∈ T
A função Xt(s) p/ t ∈T é chamada de processo estocástico.
Tipos de Conjuntos de Tempo T
Parâmetro Discreto
Parâmetro Contínuo
Para um valor fixo de t, Xt é uma variável aleatória que descreve o
estado do processo no tempo t.
Dada uma coleção finita de tempos t 1 , t 2 , ... tn, então Xt 1 , Xt 2 , ..., Xtn é
um conjunto de n variáveis aleatórias com distribuição conjunta de
probabilidade.
O objetivo do estudo de processos estocásticos é determinar a
distribuição conjunta de probabilidade afim de utilizá-la para prever o
comportamento do processo no futuro, dado que um certo
comportamento no passado foi observado.
5 - Tipos Especiais de Processos Estocásticos
a) Processo Independente (Parâmetro Discreto)
b) Processo Markoviano (Parâmetro Discreto)
c) Processo de Poisson (Parâmetro Contínuo)
5.1- Processo Estocástico Independente
É o processo estocástico mais simples possível.
Seja a seqüência aleatória { X 1 , X 2 , ..., Xn }. Então {X 1 , X 2 , ..., Xn } é
dito ser independente se as variáveis aleatórias X 1 , X 2 , , ..., Xn forem
mutuamente independentes. Isto é:
Pr[Xn =in / X 1 =i 1 ; X 2 =i 2 ; ...; Xn-1 =in-1 ] = Pr[Xn =in ]
para qualquer n.
Exemplo: Lançamento de uma moeda com { X 1 , X 2 , , ..., Xn } sendo a
seqüência de variáveis aleatórias Xn, que podem assumir, por exemplo, o valor 0 ou 1 - dependendo do resultado do n-ésimo lançamento ser cara ou coroa.
Exemplo: Seja um processo com espaço de estado constituído de apenas dois estados:
“sucesso” → 0 “fracasso” → 1
Neste caso haveriam quatro probabilidades de transição de um passo:
p 00 , p 01 , p 10 , p 11
com: p 00 + p 01 = 1 p 10 + p 11 = 1
5.2.1 - Conceitos Básicos
a) Matriz de Transição
b) Vetor de Probabilidade Inicial
a) Matriz de Transição
A matriz
é denominada matriz de transição de um processo estocástico
markoviano de m estados. Os elementos pij são as probabilidades de
transição do sistema do estado i para o estado j. Como Σj pij =1 para
cada i, a soma dos elementos de uma linha deve ser sempre 1. A
matriz de transição também é conhecida como matriz estocástica.
p p ... p
p p ... p
p p ... p
P
m 0 m 1 mm
10 11 1 m
00 01 0 m
Exemplo: Se o tempo de uma determinada região pode ser classificado como:
Estado 0 → úmido Estado 1 → seco
e os dados históricos dos últimos 28 dias tabelados abaixo.
Supondo que estes dados sejam suficientes para estabelecer as condições do tempo futuras, pode-se construir a seguinte matriz de transição para este modelo de previsão:
Ou seja, de uma amostra de 28 dias, 10 dias foram dias úmidos e 18 dias foram dias secos. Dos 10 dias úmidos, 3 foram seguidos de dias úmidos (p 00 =3/10), enquanto que 7 dias foram seguidos de dias secos (p 01 = 7/10). Dos 18 dias secos, 11 foram seguidos de dias secos (p 11 =11/17), enquanto 6 foram seguidos de dias úmidos (p 10 =6/17). Como o último dia da tabela não tem seu subseqüente, este deve ser desconsiderando na amostra para o estabelecimento da probabilidade condicional.
b) Vetor de Probabilidade Inicial
O vetor p(0)=(p 0 , p 1 , ... , pm ) é chamado de vetor de probabilidade
inicial. Este vetor indica as probabilidades do sistema se encontrar em
cada um dos m estados quando o mesmo está no início do processo.
Dia Condições doTempo Dia Condições doTempo Dia Condições doTempo Dia Condições doTempo 1 úmido 8 seco 15 úmido 22 seco 2 úmido 9 seco 16 seco 23 seco 3 seco 10 úmido 17 seco 24 úmido 4 seco 11 úmido 18 úmido 25 seco 5 seco 12 seco 19 seco 26 úmido 6 úmido 13 seco 20 seco 27 seco 7 seco 14 úmido 21 seco 28 seco
^ =
p p
p p P 10 11
00 01
5.2.2 - Probabilidades de Transição de n Passos
As probabilidades de transição de n passos são dadas por:
pij(n)^ = Pr[Xk+n =j / Xk =i ] p/ i , j=0,1,2,... e n ≥ 0
onde pij(n)^ é a probabilidade de que o processo passe do estado i ao
estado j em n passos. É claro que:
pij(1)^ = pij
pi(n)^ = Pr[Xn =i ] (probabilidade incondicional de que o processo esteja no estado i após n passos)
A probabilidade de ir de i para j em dois passos é:
pir. prj = Pr[Xk+1 =r / Xk =i ]. Pr[Xk+2 =j / Xk+1 =r ]
= Pr[Xk+2 =j ; Xk+1 =r / Xk =i ]
no caso de um processo estacionário:
p(2)ij = Σk pik. pkj
i
1
2
r
j
Passo k (^) Passo k+1 Passo k+
pir prj
p1j pi2^ p2j
pi
... ... ......
Denota-se a matriz cujos elementos são p
(2) ij por^ P
(2)
. Genericamente
p
(n) ij por^ P
(n)
. Pode-se verificar que
P(2)^ = P. P = P^2
Por indução P(n)^ = Pn
Das relações matriciais obtém-se a denominada equação de
CHAPMAN-KOLMOGOROV :
P(n+m)^ = P(n)^. P(m)^ com P(0)^ = I
que é equivalente à:
p(n+m)ij = Σk p(n)ik. p(m)kj
5.2.3 - Probabilidades de Estado do n -ésimo Passo
Seja: p(n)^ = (p 0 (n)^ , p 1 (n)^ , ... ) o vetor de probabilidades de estado após n
passos (ou transições), onde:
pk(n)^ é a probabilidade do sistema estar no estado k após n passos.
Então: pk(1)^ = Pr[ X 1 =k ] = Σj Pr[ X 1 =k / X 0 =j ]. Pr[ X 0 =j ]
= Σj pj(0). pjk
Em forma vetorial:
p/ n = 1: p(1)^ = p(0)^. P p/ n = 2: p(2)^ = p(1)^. P = ( p(0)^. P ). P = p(0)^. P 2 ... ... .... ... ... ....
p/ n qualquer: p(n)^ = p(n-1)^. P ou p(n)^ = p(0)^. P n
Ou seja, o vetor de probabilidade após n passos é facilmente
determinado em função do vetor de probabilidade inicial e a n-ésima
potência da matriz de transição.
Exemplo: Suponha que, no exemplo anterior, o comandante do tanque dispara seu primeiro tiro para fins de reconhecimento e que a proba- bilidade deste tiro acertar o alvo seja 1/4. Qual é a probabilidade dele acertar o alvo no quarto tiro?
p 0 (0)^ = 1/4 ; p 1 (0)^ = 3/
p(3)^ = p(0)^. P 3 = [ 1/4, 3/4 ].
p(3)^ = [ 0.66 , 0.34 ]
v (^) j ==== lim (^) n →→→→∞∞∞∞^ p ( ijn )
5.2.4 - Cadeias Ergódicas de Markov
Uma cadeia ergódica descreve matemáticamente um processo no qual
é possível ir de um estado a qualquer outro da cadeia. Não é
necessário que isto seja feito em apenas um passo, mas deve ser
possível atingir qualquer estado independentemente do estado
presente.
Exemplo: Seja x = pij > 0 e a matriz de transição:
É uma cadeia ergódica.
5.2.4.1 – Análise do Estado de Equilíbrio
Quando uma cadeia é ergódica (também chamada de irredutível), o
sistema pode atingir as condições de regime estacionário (ou de
equilíbrio). Este regime pode ser atingido para n relativamente grande:
onde: vvvj = probabilidade de estado de equilíbrio (ou estacionário).
A influência do estado inicial tende a ser menor com o crescimento de
n. Desta forma, vvvj não dependerá de qual estado i o processo foi
x x 0 0 0
x 0 x 0 x
0 0 0 x x
0 x x 0 x
x x 0 x x
P
0 x x 0
x 0 0 x
x 0 0 x
0 x x 0
P
5.2.4.2 - Cadeias Ergódicas Regulares
É uma cadeia que tem uma matriz de transição P, para determinada
potência de P, com apenas elementos positivos (ou seja, não-nulos).
Exemplos: a) Seja x = pij > 0 e a matriz de transição:
→ Cadeia Ergódica Regular
b) Seja x = pij > 0 e a matriz de transição:
→ Cadeia Ergódica Regular
c) Seja x = pij > 0 e as matrizes de transição:
x x 0 0 0
x 0 x 0 x
0 0 0 x x
0 x x 0 x
x x 0 x x
P
x x x x x
x x 0 x x
x x x 0 x
x x x x x
x x x x x
P
2
x x x x x
x x x x x
x x x x x
x x x x x
x x x x x
P
4
0 x x
x 0 x
x x 0 P
x x x
x x x
x x x
P
2
0 x x 0
x 0 0 x
0 x x 0
x 0 x 0
P
5.2.4.3 - Cadeias Ergódicas Não Regulares
As cadeias ergódicas cuja matriz de transição P não têm todos os
elementos estritamente positivos para uma potência qualquer de P, são
denominadas de cadeias ergódicas não regulares.
Exemplo: Suponha que se tenha um equipamento que pode estar em uma dentre três condições: (a) funcionamento, (b) em reparo, ou (c) inoperante aguardando por trabalho. Esse equipamento é observado somente quando da mudança de estados. Seja Xn=0 caso a n-ésima mudança de estado o coloque em condições de funcionamento; Xn=1, caso a n-ésima mudança de estado o coloque em uma condição de reparo; e Xn=2, caso a n-ésima mudança de estado o coloque inoperante. Uma hipótese possível é que, se o equipamento estiver parado para reparo, a mudança de estado seguinte deve ser no sentido de uma condição de funcionamento. Se o equipamento estiver inoperante, a mudança de estado seguinte o colocará em uma condição de funcionamento. Contudo se estiver funcionando, poderá mudar para uma condição inoperante ou quebrar e ser posto em condições de reparo. Supondo que estas duas possibilidades sejam igualmente prováveis, tem-se a seguinte matriz de transição:
P
2
1 2
1
2
1 2
(^21)
0
P
P^3
2
1 2
1
2
1 2
(^41)
0
P
Nota-se que esta cadeia apresenta um comportamento peculiar: se o processo iniciar no estado 0, só será possível retornar ao estado 0 após um número par de passos. Ou seja, o tempo entre visitas ao estado 0 demonstra uma periodicidade de 2 passos.
Qualquer cadeia de Markov que apresenta este comportamento recebe a denominação de Cadeia Markoviana Periódica com Período
- Esta peculiaridade pode se observada para cadeias com periodicidade qualquer, ou seja, com período 3, 4, 5 etc.
Da mesma forma que foi verificado para P, tem-se que
N 1 → (probabilidades de transição em um passo);
N 2 → (probabilidades de transição em dois passos);
N 3 → (probabilidades de transição em três passos);
N n^ → (probabilidades de transição em n passos);
e N 0 → probabilidades de estar-se exatamente agora em um es-
tado (isto é, conhecido). Portanto, N 0 = I
Então, o número de transições que o processo se encontra em um
estado não absorvente j será a soma dos termos:
= 1 × a probabilidade de se estar em j no início do processo +
1 × a probabilidade de se estar em j após 1 passo +
1 × a probabilidade de se estar em j após 2 passos +
= N 0 + 1 × N 1 + 1 × N 2 + 1 × N 3 + ... + ...
= N 0 + N 1 + N 2 + N 3 + ... + = (I-N)–
Para determinar a probabilidade de absorção de um determinado
estado absorvente j, dado que o processo iniciou no estado i (passando
por qualquer outro estado não absorvente k), a análise é semelhante à
anterior:
A probabilidade do processo terminar em j é
= a probabilidade de ir de i para j em um passo +
a probabilidade de ir de i para j em dois passos +
a probabilidade de ir de i para j em três passos +
= A (em um passo i →→→→ j ) +
NA (probabilidade de ir de i →→→→ k em 1 passo ×××× a probabi-
lidade de ir de k →→→→ j em 1 passo) +
N 2 A (probabilidade de ir de i →→→→ k em 2 passos ×××× a probabi-
lidade de ir de k →→→→ j em um passo) +
N 3 A (probabilidade de ir de i →→→→ j em 4 passos
N n-1A (probabilidade de ir de i →→→→ j em n passos
= A + NA + N 2 A + N 3 A + ... + N n-1A
= IA + NA + N 2 A + N 3 A + ... + N n-1A
= (I + N + N 2 + N 3 + ... + N n-1) A
= (I-N) -1^ A
