Tutorial Cadeias de Markov, Notas de estudo de Informática
arnaldo-araujo-11
arnaldo-araujo-11

Tutorial Cadeias de Markov, Notas de estudo de Informática

40 páginas
50Números de download
1000+Número de visitas
Descrição
Material sobre equilibrio de markov
60 pontos
Pontos de download necessários para baixar
este documento
Baixar o documento
Pré-visualização3 páginas / 40
Esta é apenas uma pré-visualização
3 mostrados em 40 páginas
Esta é apenas uma pré-visualização
3 mostrados em 40 páginas
Esta é apenas uma pré-visualização
3 mostrados em 40 páginas
Esta é apenas uma pré-visualização
3 mostrados em 40 páginas
Modelagem e Simulação - Cadeias de Markov Cadeias de Markov 1. Introdução Nestas notas de aula serão tratados modelos de probabilidade para processos que evoluem no tempo de maneira probabilística. Tais processos são denominados Processos Estocásticos. 1.2. Processos Estocásticos Um Processo Estocástico é definido como uma coleção de variáveis randômicas (X(t)) indexadas por um parâmetro t pertencente a um conjunto T. Frequentemente T é tomado para ser o conjunto dos inteiros não-negativos (porém, outros conjuntos são perfeitamente possíveis) e X(t) representa uma característica mensurável de interesse no tempo t. Exemplificando, X(t) pode representar o nível de estoque de um produto no fim da semana t. Processos Estocásticos são de interesse para descrever o procedimento de um sistema operando sobre algum período de tempo, com isso, em termos formais, a variável randômica X(t) representa o estado do sistema no parâmetro (geralmente tempo) t. Portanto, pode-se afirmar que X(t) é definido em um espaço denominado Espaço de Estados. Os Processos Estocásticos podem ser classificados como: a) Em relação ao Estado > Estado Discreto (cadeia): X(t) é definido sobre um conjunto enumerável ou finito. > Estado Continuo (sequência): X(t) caso contrário. b) Em relação ao Tempo (Parâmetro) > Tempo Discreto: t é finito ou enumerável. > Tempo Contínuo: t caso contrário. Exemplos: 1. Número de usuários em uma fila de banco em um determinado instante: Estado Discreto e Tempo Contínuo. 2. Índice pluviométrico diário: Estado Contínuo e Tempo Discreto. 3. Número de dias chuvosos: Estado Discreto e Tempo Discreto. Existem vários "tipos" de Processos Estocásticos, porém, nestas notas de aula será apenas abordado um tipo de Processo Estocástico denominado Processo Markoviano. Notas de Aula - Fernando Nogueira 1 Modelagem e Simulação - Cadeias de Markov Andrei Andreyevich Markov (*1856, Ryazan, Russia; 1922, São Petersburgo, Russia). 2. Processos Markovianos Um Processo Estocástico é dito ser um Processo Markoviano se: PC) S Rea KO = XCD) = Xerem XD) = 8, X(tO) = Ko = PC) Sea XO)= 2) (1) paa to de I para I > a probabilidade do estado ser I após 5 anos, dado que o estado atual (presente) é I é 0.8, ou PiX(t+5)=I|X() = I)= 0.8. Para t =1993, fica PÍX(1998) = 1]X(1993)= 1)= 0.8. > de para IL > a probabilidade do estado ser II após 5 anos, dado que o estado atual (presente) é I é 0.1, ou PfX,.s =HX, =1/-0.1. Para t =1993, fica PÍX(1998) = 1|X(1993) = I)= 0.1. > de para II > a probabilidade do estado ser III após 5 anos, dado que o estado atual (presente) é 1 é 0.1, ou Pix(t+5)= mjx()=1)= 0.1. Para t =1993, fica PÍX(1998) = I]X (1993) = 1)= 0.1. > de II para I > a probabilidade do estado ser I após 5 anos, dado que o estado atual (presente) é II é 0.1, ou PXCL+S)=I]X(O == 0.1. Para t=1993, fica PÍX(1998) = 1]X (1993) = II= 0.1. > de II para II > a probabilidade do estado ser II após 5 anos, dado que o estado atual (presente) é IL é 0.7, ou Pix(t+5)= H|X(b) = 1)= 0.7. Para t=1993, fica PÍX(1998) = |X(1993) = 1I)= 0.7. > o raciocínio é análogo para as demais. Notas de Aula - Fernando Nogueira 3 Modelagem e Simulação - Cadeias de Markov Os valores da tabela 2 podem ser então dispostos em uma matriz P, denominada Matriz de Transição: 08 01 01 (4) P=|01 07 02 00 01 09 Assim, a partir de Pe o vetor de probabilidade de estado x para 1993, denominado nº , pode-se calcular o vetor de probabilidade de estado 7 para 1998, denominado n.º” : 0.8 01 01 (5) nV=n0p=[30 20 50/01 07 02|=[26 22 52] 00 01 09 2.1 Cadeias de Markov Um Processo Markoviano é dito ser uma Cadeia de Markov quando as variáveis randômicas X(t) estão definidas em um espaço de estados discreto E. O exemplo dado acima é então uma Cadeia de Markov porque o espaço de estados é discreto. Quando o tempo é discreto, a Cadeia de Markov é dita ser una Cadeia de Markov em Tempo Discreto. Neste caso, tem-se: PIXGAD = xi a |XQ) = x, XG-D= xr XD= x XO=x0;= PXG+D= xi |XGO)= x) (6) vw sequência 01,...,k-1,k,k+1 As Probabilidades de Transição Pix +)=x,u |xdy = x, representam, portanto, a probabilidade do estado x(k+1) ser x, no tempo k + 1 dado que o estado X(k) é x, no tempo k. Se para cada Xk+1 e Xk, tem-se: PÊXG+) =x a |XG9) =x )= POD = x, |X(0)= xo) (1) Y segúência 1,2,..,kK-Lk,k+1 então, as Probabilidades de Transição são ditas Estacionárias. Assim, tendo-se Probabilidades de Transição Estacionárias implica que as Probabilidades de Transição não mudam em relação ao tempo. Ainda, de acordo com a expressão (7), as Probabilidades de Transição são denominadas Probabilidades de Transição de Passo 1. A existência de Probabilidades de Transição Estacionárias de Passo 1 implica que para cada Xx;n expen (n=0,1,2,..), tem-se: Pix) = xa |XO) = x1)= PÉ) =x, [X(O) = x9) (8) Y segúência 1,2,..,kK-Lk,k+1 Notas de Aula - Fernando Nogueira 4 Modelagem e Simulação - Cadeias de Markov Estas probabilidades condicionais são chamadas Probabilidades de Transição de Passo n. Para simplificação da notação, adotando xk+ ou xk+n de j e xk de 1, pode-se definir: Pj = PGE +D = jxdo =) (9 e PL = Pix +n)= jjxGo) = if (10) Porque pe? são probabilidades condicionais, estas precisam ser não negativas e desde que o processo precisa realizar uma transição em algum estado, estas precisam satisfazer as seguintes propriedades: p$>0 V (Ljjn=012,. (1) M 12 >Dp$?=1 v in=012,.. (2) j=0 Uma maneira conveniente de mostrar todas as Probabilidades de Transição de Passo n é: Estado | O 1..14M O oo eo] pm Lollo] M [So píi] | rim ou, equivalentemente, por uma matriz PO: no om D» po)-|Pio Pr Pix Ph Pha o PS A matriz PP é denominada Matriz de Transição de Passo n. Quando n = 1, a matriz é denominada apenas Matriz de Transição, como exemplificado na expressão (4). As Cadeias de Markov, consideradas nestas notas de aula possuem as seguintes propriedades: Notas de Aula - Fernando Nogueira 5 Modelagem e Simulação - Cadeias de Markov 1. Um número finito de estados. 2. Probabilidades de Transição Estacionárias. Ainda será assumido como conhecido o vetor de probabilidade de estado inicial nº? (vetor composto por P(XO =1) para todo 1). Exemplo B Uma loja de câmeras fotográficas armazena um modelo de câmera que pode ser comprada semanalmente do fornecedor. Di, D», . . ., representa a demanda para esta câmera (o número de unidades que deveriam ser vendidas se o estoque não é esgotado) durante a semana 1, semana 2, . . ., respectivamente. É assumido que D; são variáveis randômicas independentes e identicamente distribuídas (i.i.d”) tendo uma distribuição de Poisson com média igual a 1. Dado Xy representar o número de câmeras inicialmente, X, o número de câmeras no fim da semana 1, X, o número de câmeras no fim da semana 2 e assim por diante. Assume-se que Xo = 3. No sábado a noite a loja faz o pedido de câmeras para o fornecedor, o qual realizará a entrega apenas na próxima segunda-feira. A loja utiliza a seguinte política de compra: se não há câmeras no estoque, a loja compra 3 câmeras. Entretanto, se há alguma câmera no estoque, nenhuma câmera é comprada. Vendas são perdidas quando a demanda excede o estoque. Assim, (X,) para t=0,1,2,...é um Processo Estocástico. Os Estados possíveis do processo são os inteiros 0, 1, 2, 3, representando o número de câmeras no fim da semana t, ou seja, o espaço de estados, para este exemplo é E=fo 1 2 3. As variáveis randômicas X; são dependentes e podem ser avaliadas iterativamente pela expressão: = [maxis = Di 05 se X,=0 parat=0,1,2,... (4) max, -Dia.O se X, 21 A expressão (14) é o processo estocástico (o qual foi modelado a partir do enunciado). Ainda faz-se necessário definir a matriz de transição P, porém, primeiramente, a título de revisão segue: * Duas variáveis aleatórias são independentes se P(A NB) = P(AJB)P(B) = P(AJP(B). Duas variáveis aleatórias são identicamente distribuídas se possuem a mesma distribuição de probabilidade. Notas de Aula - Fernando Nogueira 6 Modelagem e Simulação - Cadeias de Markov Distribuição de Poisson Siméon Denis Poisson (*1781 Pithiviers, França; +1840, Sceaux, França). A distribuição de Poisson é uma distribuição discreta empregada em situações probabilísticas onde a área de oportunidade de ocorrência de um evento é grande, mas a oportunidade de ocorrência em um intervalo particular (ou em um ponto) é muito pequena. Exemplo: > Número de defeitos ao longo de um fio de uma linha de transmissão de energia. > Erros de datilografia em um livro. > Acidentes industriais. > Chegadas em modelos de fila de espera. Matematicamente: A probabilidade de exatamente r ocorrências de um evento é: mote 09 onde: A é amédia da distribuição A variância de P(1) é À também. Exemplo: O número médio de defeitos em laminas de vidro é 5. A probabilidade que a lamina tenha 6 defeitos é: P(6)= rel =0146 (16) Notas de Aula - Fernando Nogueira 7 Modelagem e Simulação - Cadeias de Markov Retomando o exemplo do estoque da loja de câmeras, dado que o estado corrente X- 1, o processo só depende de Dim (veja expressão (14)). Uma vez que Xm é independente do passado, este processo é um processo Markoviano. Considerando ainda que o espaço de estado é discreto, este processo Markoviano é uma Cadeia de Markov. Uma vez que D:» tem distribuição de Poisson com média À = 1 pode-se calcular: ne a? PD =nj=heo ,paran=0,1,.. nm Atribuindo valores para n, onde n representa o número de câmeras necessárias para repor o estoque na próxima semana, fica: PDiu=0=e!=0.368 as) PDiy=li=e]=0368 ao) PÍD,a=2)=>—=0.184 (20) PÍD,a >3/=1-PÍD,, 0=max3-D,,,0) - P(D,4 >3)= 0.080 (22) Por X,-0€e X4=1 =>1=max3-D,,.0) - P(Diu = 2)= 0.184 (23) Pio X,=1e X,,=0 >0=max(1-D,,,0) : P(D,, >1)=1-P(D,, =0)=0.632 (24) ba X,=1€ X4=2 >2=maxd-D,,,0) :P(Du=-1)=0 (25) Notas de Aula - Fernando Nogueira 8 Modelagem e Simulação - Cadeias de Markov Para as demais pi, O raciocínio é análogo. A matriz de transição P então fica: 0.080 [0.632 “0.264 0.080 0.184 0.368 0.368 0.184 0.368 0.368 (26) o o 0368 O 0.368 0.368 Uma maneira alternativa para representar as probabilidades de transição é utilizar uma representação denominada Diagrama de Transição de Estado. Neste os sentidos das flechas indicam a probabilidade de transição de um estado 1 para um estado j. Para a matriz de transição P dada pela expressão (26) o diagrama fica: - -—368 0.368 “DE Fig. 1 - Diagrama de Transição de Estado. Notas de Aula - Fernando Nogueira 9 Modelagem e Simulação - Cadeias de Markov 2.2 Equações de Chapman - Kolmogoroy Sidney Chapman (*1888, Eccles, Inglaterra; 11970, Andrey Nikolaevich Kolmogorov (*1903, Tambov, Boulder, Estados Unidos). Russia; 11987, Moscow, Russia). A matriz de transição P é a matriz de transição de probabilidades de estado para um passo no tempo, ou seja, de t para tt+1. Pode se dizer, de maneira simplista, que as equações de Chapman-Kolmogorov fornecem um método para computar a matriz de transição para n passos no tempo, ou seja, de tpara t+1, de t para t+2, ..., de t para t+n. Seja pe? a probabilidade de transição do estado i para o estado j de passo n, pode-se escrever que: o) 2 SA mae (27) pe) = pri k=0 V i=01..,M v j=01.,M e qualquerm=1,2,...,n-1 e qualquern=m+1, m+2,.... Em notação matricial, a expressão (27) fica: pio = pr pre es) onde: PO é a matriz de transição de passo n. Notas de Aula - Fernando Nogueira 10 Modelagem e Simulação - Cadeias de Markov A partir de (28) pode-se concluir, portanto, que: po pr (29) A expressão (29) afirma que a matriz de transição de passo n é igual à matriz de transição de passo 1 elevada a n-ésima potência. Cabe ressaltar neste momento que a expressão (29) só é válida para Cadeias de Markov cujas probabilidades de transição de estados são constantes em relação ao tempo (Probabilidades de Transição Estacionárias). A este tipo de Cadeia de Markov, denomina-se Cadeia de Markov Homogênea e a matriz de transição P é então uma matriz homogênea. Retomando o exemplo do estoque da loja de câmeras, a matriz de transição de passo 2(n=2), é: 0.080 0.184 0.368 0.368] 0.080 0.184 0.368 0.368 0.249 0.286 0.300 pp? 0.632 0.368 0 0 0.632 0.368 0 0 0.283 0.252 0.233 . 0.264 0.368 0.368 O [0264 0368 0.368 O | [0351 0319 0.233 0.080 0.184 0.368 0.368/0.080 0.184 0.368 0.368 0.249 0.286 0.300 O vetor probabilidade de estado 7 para o exemplo da câmera no tempo O é: n9=[o 0 0 1] GD uma vez que Xo—3. Para o tempo 1, 1” pode ser calculado como: 0.080 0.184 0.368 0.368 (32) 0.632 0.368 O 0 0.264 0.368 0.368 O 0.080 0.184 0.368 0.368 19 =10p=[0 0 01] =[0.080 0.184 0.368 0.368] Para o tempo 2, nº pode ser calculado como: 0.249 0.286 0.300 0.165 (33) 0.283 0.252 0.233 0.233 0.351 0.319 0.233 0.097 0.249 0.286 0.300 0.165 12 =10p2=[0 0 01] =[0.249 0.286 0.300 0.165] 2.3 Classificação de Estados em Cadeias de Markov Notas de Aula - Fernando Nogueira q 0.165] (30) 0.233 0.097 0.165 Modelagem e Simulação - Cadeias de Markov 2.3.1 Estados Alcançáveis e Comunicantes (n) 5 algum n>0. Isto implica que é possível o sistema entrar no estado j eventualmente quando este começa no estado 1. Um estado j é dito ser alcançável (accessible) a partir de um estado i se p;” >0 para Exemplo 1: os estados da matriz de transição P? na expressão (30). Exemplo 2: Um jogador tem um $1,00 e a cada vez que joga ganha $1,00 com probabilidade p>0 ou perde $1,00 com probabilidade 1-p. O jogo termina quando o jogador acumula $3,00 ou $0,00. Este jogo é uma Cadeia de Markov cujos estados representam a quantia esperada de dinheiro que o jogador possui a cada vez que joga. O espaço de estados éE=fo 1 2 3eamatriz de transição P é dada por: Estado O 1 23 o 1 o 00 (34) 1 1- 0 0 p= b b 2 o 1-p 0 p 3 0 o 01 Nesta Cadeia de Markov, o estado 2, por exemplo, não é alcançável a partir do estado 3. Isto pode ser observado a partir do contexto, uma vez que se o jogador alcançar o estado 3, este nunca deixará este estado, o que implica que pí)=o para todo n>0. Entretanto, o estado 3 é alcançável a partir do estado 2, uma vez que py >0. Um estado j é dito comunicante com o estado i se o estado j é alcançável a partir do estado i e o estado 1 é alcançável a partir do estado j. Exemplo 3: os estados da matriz de transição P? na expressão (30). Exemplo 4: estados 2 e 3 do exemplo 2 não são comunicantes. A seguinte regra pode ser definida a partir das Equações de Chapman-Kolmogorov: "Se um estado 1 é comunicante com um estado k e o estado k é comunicante com um estado J, então o estado i é comunicante com o estado j". Se dois estados se comunicam entre si, diz-se que eles pertencem à mesma classe. Se todos os estados são comunicantes, portanto todos os estados pertencem a uma única classe, a Cadeia de Markov é dita ser Irredutível. Exemplo 5: A Cadeia de Markov do exemplo do estoque da loja de câmeras. 2.3.2 Estados Recorrentes e Transientes Notas de Aula - Fernando Nogueira 12 Modelagem e Simulação - Cadeias de Markov Um estado é dito ser Transiente (Temporário, Efêmero, Transitório) se, entrando neste estado, o processo pode nunca retornar novamente para este estado. Portanto, o estado i é transiente se e somente se existe um estado j (jxi) que é alcançável a partir do estado i mas não vice-versa, isto é, o estado 1 não é alcançável a partir do estado j. Assim, se o estado 1 é transiente e o processo visita este estado, há uma probabilidade positiva que o processo irá mover-se para o estado j e assim nunca irá retomar para o estado 1. Conseqiientemente, um estado transiente será visitado somente um número finito de vezes. Um estado é dito ser Recorrente se entrando neste estado, o processo definitivamente irá retornar para este estado. Portanto, um estado é recorrente, se e somente se, não é transiente. Uma vez que o estado recorrente será "revisitado" após cada visita (não necessariamente no próximo passo do processo), este será visitado infinitamente para o processo em tempo infinito. Um estado é dito ser Absorvente se entrando neste estado, o processo nunca irá deixar este estado. Portanto, um estado 1 é absorvente se e somente se pi = 1. Com isso, pode-se afirmar que um estado absorvente é um caso especial de um estado recorrente. Em uma Cadeia de Markov, um conjunto C de estados é dito ser um Conjunto Fechado se o processo ao entrar em um desses estados de C, este irá permanecer nos estados de C indefinidamente, ou seja, C é um conjunto tal que nenhum estado fora de C é alcançável a partir de qualquer estado de C. Com isso, pode-se afirmar que C é um conjunto formado por estados recorrentes. Em uma Cadeia de Markov, um conjunto Cm de estados é dito ser un Conjunto Fechado Mínimo se este conjunto não possui sub-conjuntos fechados. Exemplo 6: Suponha que a Cadeia de Markov possui a seguinte matriz de transição P: 65) ooooos O estado 3 é transiente porque se o processo está no estado 3, há uma probabilidade positiva que ele nunca irá retornar para este estado. O estado 4 também é um estado transiente porque se o processo começa neste estado, imediatamente o processo o deixa e nunca mais irá retornar para este estado. Os estados O e 1 são recorrentes. Através de P percebe que se o processo começar a partir de um desses dois estados, este nunca deixará estes dois estados. Além disto, sempre quando o processo move-se a partir de um destes estados para o outro, este irá retornar para o estado original eventualmente. O estado 2 é um estado absorvente, pois, uma vez que o processo entra no estado 2, este nunca mais o deixará. Os estados 0, 1 e 2 formam um conjunto fechado C, uma vez que se o processo entrar em um destes estados, nunca os deixará. Os estados 0 e 1 formam um conjunto fechado minimo, bem como o estado 2. Notas de Aula - Fernando Nogueira 13 Modelagem e Simulação - Cadeias de Markov 2.3.3 Propriedades de Periodicidade Um estado i é periódico com período t se um retomno a este estado é possível somente em t, 2t, 3t,... passos para t=1 e t é o maior inteiro com esta propriedade (máximo divisor comum). Isto implica que p” = 0 sempre quando n não é divisível por t. Exemplo 7: o estado 1 do exemplo 2. Começando no estado 1, é possível para o processo entrar no estado 1 somente nos tempos 2, 4, 6,..., de tal forma que o estado 1 possui período t=2. Isto pode ser verificado calculando Pp! para todo n e observar que pf) =opara n impar. Exemplo 8: os estados da seguinte Matriz de Transição: Prado ; o % Y pol o 0 xy by, (6) 2 hhoo PA ho] Mo! MU o E E | NA Ci NNE | esto -=-—+-—— ir It o Im DOM | 0 10 20 30 40 50 60 70 so 90 100 tempo (passo) Figura 2 - Cadeia de Markov com estados periódicos. Se há dois números consecutivos s e s + 1 tal que o processo pode estar no estado i nos tempos ses +11, o estado é dito ter período 1 e é chamado estado Aperiódico. Notas de Aula - Fernando Nogueira 14 Modelagem e Simulação - Cadeias de Markov Como a recorrência é uma classe de propriedade, a periodicidade também é uma classe de propriedade. Assim, se um estado i em uma classe tem período t, todos os estados nesta classe têm período t. Exemplo 9: o estado 2 do exemplo 2 possui período t = 2 porque está na mesma classe que o estado 1, o qual, por sua vez, tem periodo t=2. Em uma Cadeia de Markov de estado finito, estados recorrentes que são aperiódicos são chamados de estados Ergódicos. Uma Cadeia de Markov é dita ser Ergódica se todos os estados são estados ergódicos. Resumo Tabela 3 - Resumo de classificações de Estados e Cadeias. Conjunto Nenhum estado, a não ser algum pertencente ao conjunto, pode ser Fechado alcançado de qualquer estado pertencente ao conjunto. Estado Uma vez que se entra neste estado, nunca mais o deixa. Absorvente Estado Uma vez que se entra neste estado, um eventual retorno é assegurado. Recorrente Estado O estado que pode somente ser alcançado nos passos m, 2m, 3m, ..., onde Periódico m é um inteiro >1. Estado Um eventual retorno ao estado não está assegurado. Transiente Estado Uma vez que se entrou neste estado, um retorno ao estado é assegurado Ergódico dentro de um número finito de passos, porém o estado não é periódico e pode voltar antes de qualquer passo n. Cadeia Cada estado pode ser alcançado a partir de qualquer outro estado (todos os Irredutível estados são comunicantes). Cadeia A Cadeia contém um ou mais conjuntos fechados e o processo poderá Absorvente | eventualmente ser absorvido em um dos conjuntos fechados. Cadeia Todos os estados são recorrentes e aperiódicos. Ergódica 2.4 Propriedades de Longo Período em Cadeias de Markov 2.4.1 Probabilidades de Estados Estavéis (Steady-State) A matriz de transição PO do exemplo do estoque da loja de câmeras é para: 0.184 0.368 0.368 0368 O 0 (37) 0.368 0368 O 0.184 0.368 0.368 Notas de Aula - Fernando Nogueira 15 n=2 0.249 0.283 p= 0.351 0.249 n=4 0.289 0.282 pl) = 0.284 0.289 n=8 0.286 p6 =| 0286 “|0.286 0.286 0.286 0.252 0.319 0.286 0.285 0.285 0.285 0.285 0.300 0.233 0.233 0.300 0.264 0.264 0.264 0.264 0.165 0.233 0.097 0.165 0.164 0.166 0.171 0.164 0.166 0.166 0.166 0.166 Modelagem e Simulação - Cadeias de Markov 68) 69) (40) Como se pode perceber, todas as linhas da matriz PÊ são aproximadamente iguais (no caso, são iguais apenas devido ao truncamento na 3º casa decimal), e serão absolutamente iguais para n >. Se todas as linhas da matriz de transição são iguais, o processo torna-se independente da distribuição de probabilidade inicial, a qual é representada pelo vetor de probabilidade de estado 10. No caso do estoque da loja de câmeras, isto implica que a longo período, o estado do estoque é independente do estado inicial Xp =3. A figura abaixo mostra o vetor de probabilidade de estado em função do tempo para nº=[1000]X=0,72=[0100]G=1,7º=[0010](K=2,7º=[0001] (Xo = 3). Nota-se que independente do estado inicial do estoque da loja de câmeras, a distribuição de probabilidade dos estados 1” é praticamente a mesma nos gráficos abaixo. Notas de Aula - Fernando Nogueira 16 Modelagem e Simulação - Cadeias de Markov Probabilidades de Estados para VO = 1 0 0 0 Probabilidades de Estados para VO= 0 1 0 0 1 1 Er = T > etaioO o noto — Got |- ' — tao? 897 g r $ $ i , Sos 5 1 30 $ ' i í 24 ã $ Boal Ê od a sn o O 1 2 45 4 E E? tempo (pnsoo) tempo (asso) Probablidads de Estados para VO = O O 1 0 Prebablidads de Estados para VO= O O 0 1 1 l E) suo os, Gado 1 Gado 1 — Guadoa — atada os — tados | — Saos | or o? ê $ dos dos] 8 $ Eos gos Í í god í 04] Êos ãoa o2 o2 o T-- o4 o pos o O 1 dE 4 4 E 4 O 1 ES 4 E d+ tempo passo) tempo passo) Fig. 3 - Vetor de Probabilidade nº para o passo n dado 1º. A matriz de transição irá estabilizar os valores de seus elementos a longo período se a Cadeia de Markov é Ergódica e Irredutível”, que por sua vez, implica na existência de lim pº? independente de 1. Além disto: n50 tmp) =x; >0 (41) n50 onde os x; satisfazem unicamente as seguintes equações de estados estáveis: A . (42) =5mPs para j=0,12,.,M i=0 e *o lim pº? pode tamb ém existir mesmo para Cadeias Não Irredutíveis e/ou Não Ergódicas (ver Tabela 4). ij no Notas de Aula - Fernando Nogueira 17 Modelagem e Simulação - Cadeias de Markov M . (43) >m,=1 para j=01,2,...,M Os x; são chamados de Probabilidades de Estados-Estáveis da Cadeia de Markov e podem ser denominados também como Probabilidades de Estados Estacionários (não confundir com probabilidades de transição estacionárias), Probabilidades de Estados em Fase de Regime, Distribuição Estacionária, Probabilidades de Equilíbrio, Valores Limites ou Probabilidades de Estado Fixo. Nota-se que as expressões (42) e (43) formam um sistema com M + 2 equações em M + 1 incógnitas. Com isso, no mínimo uma equação precisa ser redundante e pode, portanto, ser excluída do sistema. No entanto, a equação da expressão (43) é a única que não pode ser excluída devido ao seu caráter de normalização no sistema. Retomando o exemplo do estoque da loja de câmeras, o sistema fica: %o = ToPao+MPio + Tabao + FsP3o m=ToPo+MPu + Ta +TPa fm = ToPw tp tTaPn+Tpa (44) 73 = ToPos + TPis + ToDos + Tapas l=T+M+M, +73 Igualando a zero as quatro primeiras equações do sistema da expressão (44), fica: 0=Tolpoo —1+mPro + TaPao + TaP3o 0=Topo +M(Pu-Dttopa+7aPa 10=7op +Tpa + Tala -D+mpa (45) 0=ToPos +TiPis + TaPas + Ta(pas —1) l=T+M+M, +73 Substituindo valores, fica: 0=79(0.080-1)+7,0.632+7-,0.264+7,0.080 0=750.184+7,(0.368-1)+7,0.368+7,0.184 0= 790.368 +7,(0.368-1)+17;0.368 (46) 0=750.368+7,(0.368-1) l=[+M +17, +73 Excluindo uma equação qualquer (sem ser a última) e resolvendo o sistema, a solução é: n=[no m, m, n,]=[0.286 0.285 0.263 0.166] (47) A partir de (47), pode-se afirmar que a matriz de transição P(º) para o passo n= Notas de Aula - Fernando Nogueira 18 Modelagem e Simulação - Cadeias de Markov GM] [xo m mt m] [0286 0285 0.263 0.166 nl) mo m tm m-| |0.286 0.285 0.263 0.166 (48) ( ( PO - - 2 - nl) lmo mm 7-| |0.286 0.285 0.263 0.166 a) xo m m, m| [0.286 0.285 0.263 0.166 Em particular, se i e j são estados recorrentes pertencentes a diferentes classes, então: p$ =0,Y n (49) Similarmente, se j é um estado transiente, então: limpí?=0,Y i (50) n5o Observação Importantel: como já citado, cabe neste momento ressaltar que PO só pode ser obtida como na expressão (48) somente se a Cadeia de Markov é Ergódica Irredutível, o que garante que todas as linhas de PO são idênticas. No entanto, o método de se elevar a matriz de transição P a n-ésima potência para se determinar PP é sempre válido, apesar de não haver necessidade que todas as linhas de Pº sejam idênticas mesmo para n > oo. O seguinte exemplo deixa claro esta ressalva. Exemplo; Uma Cadeia de Markov possui a seguinte matriz de transição PD: 100 PO-|o 1 0 6D [03 02 05 Qual o valor de limP(”? ? Elevando P a potências mais altas, tem-se: n5o 10 0 PO=|0 1 0 (52) [045 0.30 0.25 1 o o PO=| 0 1 0 (63) [0.525 0.350 0.125 1 0 0 pO-| O 1 0 (54) [0.5625 0.3750 0.0625 Notas de Aula - Fernando Nogueira 19 Modelagem e Simulação - Cadeias de Markov 100 PO-lo 10 (55) 06 04 0 Escrevendo o seguinte sistema: To = To +7,0.3 po =m+1,02 (56) ] 1,=1,0.5 h Totm+T, A solução de (56) resulta em: totm=lem=0 (57) e consequentemente não existe uma solução determinada para To e 14. Como se pode notar, as linhas de P(”) não são iguais e, por isso, os valores de to e 7, não são determinados unicamente. Este fato ocorreu devido a esta Cadeia de Markov não ser Irredutível. Observação Importante2: Se P é uma matriz de transição em que: M Xpo=10V i=12,,M fe] e M 59) Sp=lo V j=12.,M 69) ia esta matriz é dita ser uma matriz Duplamente Estocástica e neste caso, para P irredutível”, tem-se: . 60) limpf = v (60) no Considerações matemáticas: A equação vetorial em (42), pode ser dada em notação reduzida por: 0.5 05 0 *P=|0.5 0.5 O | é duplamente estocástica, mas lim pj? * - Y 1,]=12,3 porque P não é 0 01 Irredutível. Notas de Aula - Fernando Nogueira 20 Modelagem e Simulação - Cadeias de Markov n=1P (61) sendo: x um vetor linha; e P é uma matriz quadrada. Equivalentemente, a expressão (61) pode ser escrita por: Pint=a! (62) sendo: to operador transposto. A expressão (62) pode ser entendida como um problema de auto-valor”, que implica em P'ter um auto-valor igual a 1. O problema de auto-valor fica então: (P-ab'=o; (63) A resolução de (63) irá fornecer um auto-vetor 7º associado a um auto-valor igual a 1 que corresponde para o vetor de Probabilidades de Estados Estáveis. Uma vez que P é uma matriz homogênea, o auto-vetor 1º poderá ter infinitas soluções, porém tais soluções diferem entre si apenas por um fator de escala. Faz-se necessário então normalizar os valores do vetor 1º para sua soma ser igual a 1. O exemplo abaixo resolve o problema de auto-valor para a matriz de transição P do exemplo do estoque da loja de câmeras: 0.080 0.632 0.264 0.080 100 0Dm| [o (64) 0.184 0.368 0.368 0.184 010 0||m||0 0368 O 0368 0368) Jo 0 1 ollm| o 0368 O 0 0.368 00 0 1x 0 A solução é: *Ax=Ix>D(A-Ax=0 sendo: A um auto-valor, x um auto-vetor associado ao auto-valor À; e 1 a matriz identidade. Notas de Aula - Fernando Nogueira 21 0 0 0 0.092+0.2434 0 AutoValor = . 0 0 0.092 0.2434i 0 0 0 0.5606 —0.4523+0.3989i — 0.4523- 0.39891 0.5590 —0.3015 AutoVetor = . 0.5165 0.1508- 0.3989i 0.3264 0.6030 0.6030 Modelagem e Simulação - Cadeias de Markov O auto-vetor associado ao auto-valor = 1 é: 0.5606 0.5590 0.5165 0.3264 t —0.3015 0.1508 + 0.3989% Que por sua vez, normalizado para a soma dos seus elementos ser igual a 1 é: 0.5606 o 1 [05590 m'= 1.9625| 0.5165 0.3264 0.2856 0.2848 0.2631 0.1663 (65) — 0.7071 (66) 0 0 0.7071 (67) (68) Os valores em (68) correspondem para os mesmos valores encontrados em (40) e (47). Considerando a Matriz de Transição da Cadeia de Markov Não Irredutível e Não Ergódica dada em (51), o problema de auto-valor fica: 1 A solução é: AutoValor = o on on o o 0Dfm,1 [o 11 m|=|0 o 1lm| o 0 0 0.5 Notas de Aula - Fernando Nogueira (69) (0) 12 13 Modelagem e Simulação - Cadeias de Markov 1 0 —-0.4867 (71) AutoVetor=|0 1 —0.3244 0 0 oslll Neste caso, existe 2 auto-valores iguais a 1, devido a existência de dois conjuntos fechados mínimos (2 estados absorventes), e não apenas um auto-valor igual a 1. Neste caso, o vetor 7º não pode ser unicamente determinado (como em (55) e (57). 2.5 Custo Médio Esperado por Unidade de Tempo Na seção anterior, abordou-se o caso em que os estados são ergódicos (recorrentes e aperiódicos). Se a condição de aperiodicidade é relaxada, então o limite lim p$? pode não n5o existir. Exemplo: a seguinte matriz de transição P Estado 0 1 p= 0 h j 0) 1 [10 Se o processo começa no estado O no tempo 0, o processo retornará ao estado O nos tempos 2, 4, 6,... e entrará no estado 1 nos tempos 1, 3, 5,... Portanto, lim pf? não existe. n50 No entanto, o seguinte limite sempre irá existir para uma Cadeia de Markov Irredutível (estado finito): n 73 tn[L3pp + pv 0» Na A expressão 73 (não confundir a expressão 73 com lim pf) é de suma importância no» para calcular o Custo Médio a Longo Período por Unidade de Tempo associado à Cadeia de Markov. Supondo que um custo seja determinado apenas em função do estado da Cadeia de Markov, ou seja, C(Xy é a função de custo. Nota-se que esta função é uma variável randômica que assume os valores C(0), C(1),..., C(M), onde E = [0, 1,..., M] é o espaço de estados do processo e que C(e) é, portanto, independente de t. O custo médio esperado para osn primeiros períodos é dado por: c- Ho Ê cx, ] (74) Através de (73), pode-se demonstrar que o Custo Médio por Unidade de Tempo associado à Cadeia de Markov é dado por: Notas de Aula - Fernando Nogueira 23 Modelagem e Simulação - Cadeias de Markov lim Ei gem))- Excl) (75) n5 [nã j=O Exemplo: a função de custo para o exemplo do estoque da loja de câmeras é dada por: O se X,=0 2 se X,=1 (76) co =/5 e RO se X,-2 E se X,=3 Aplicando os valores de (76) em (75), fica: 11 (7 lim Ez zc(x, ] = 0.286(0)+ 0.285(2)+ 0.263(8) + 0.166(18) = 5.662 n5o [nt O valor da expressão (77) é o custo médio esperado do estoque por semana. Outro resultado interessante é obtido para a seguinte função de custo: ce)=fy se X, =5 (78) se X, *j Aplicando os valores de (78) em (75), o resultado são os próprios 7j. Com isso, os valores de 7; podem ser interpretados com a fração do tempo em que o processo está no estado j. A tabela 4 mostra um resumo das condições para obter 7” em função da classificação da cadeia. Notas de Aula - Fernando Nogueira 24 Modelagem e Simulação - Cadeias de Markov Tabela 4 - Condições para T.” em função da classificação da cadeia. Ergódica Não ergódica todos os estados são recorrentes e existe ao menos um estado existe ao menos um estado aperiódicos transiente periódico Irredutível independe de nº | à existência de ao menos um | q? independe de 7º todos os estados são . (0) . estado transiente implica em é lim pl comunicantes lim pj=T Vi haver estados que não são ado Pi Exemplo: comunicantes. Portanto, não | 7” é obtido através de: 0.080 0184 0368 0368 existe cadeia irredutível 1a om 0368 o O com um ou mais estados | lim) =S' pf [= 7, i 0.264 0368 0568 O transientes. nan 0.080 0184 0368 0368 Exemplo: el? ] nº =[0286 0.285 0.263 0.166] 10 nº=[os 0.5): mas e lim pf Não x” depende de nº Caso: m” depende de í . da” o ' Irredutível e lim pí) massm, vi] 7” depende de 7 e lim pf ao menos um . estado nos i (1) i nos e lim masz7,, Vi . não é comunicante com | Exemplo: am P5 á Exemplo: ao menos algum outro 9505 0 0 Exemplo: 01000 estado Josos o o os os 0 0 0 00100 coa os os o o 0 P-[10000 090505], P-[02 02 02 02 02 90001 Cadeia ergódica, mas o 0 00505 00010 estados O e 1 não são o 0 0 0505 Estados 0, 1 e 2 possuem comunicantes com estados 2€e3. Estado 2 é transiente e não é comunicante com estados 0,1,3€4. Caso2: n” independe de 7º . o . lim Ppj=T, Vi Exemplo: os 0 05 0 Estado O não é comunicante com demais e estados 1, 2 e 3 são transientes. período T=3 e estados 3 e 4 possuem período T=2. Estados 0, 1 e 2 não são comunicantes com estados 3 es 2.6 Custo Médio Esperado por Unidade de Tempo para Funções de Custo Complexas Na seção anterior, tratou-se apenas com funções de custo dependentes do estado em que o sistema se encontra no tempo t. Para funções de custo que dependem não só do estado do sistema, mas também de outra variável randômica, faz necessário fazer algumas ressalvas. Considerando que: 1) fX,) é uma Cadeia de Markov Irredutível (estado-finito). Notas de Aula - Fernando Nogueira 25
Até o momento nenhum comentário
Esta é apenas uma pré-visualização
3 mostrados em 40 páginas