Scarica Stima puntuale, capitolo 2 e più Appunti in PDF di Statistica Inferenziale solo su Docsity!
Stima Puntuale
Cominciamo adesso a discutere nel dettaglio come ottenere le prime informazioni sul Parametro. La prima
informazione che possiamo ottenere è la cosiddetta Stima Puntuale , cioè quel valore che dovrebbe
avvicinarsi al vero valore del Parametro della Popolazione o per meglio dire un valore numerico che rappresenti una Stima. La Stima di un Parametro è infatti una valutazione di massima di una quantità ignota. In particolare, se il Modello viene specificato come f (^) y ( y ; ) , la Stima Puntuale del Parametro (o del Vettore dei Parametri nel caso di Modelli multi-parametrici e, di conseguenza ogni componente del Vettore del Parametro avrà una sua valutazione in media) noi la indicheremo con la notazione ( si legge Theta Cappello). Possiamo dire, inoltre, che la stima del Parametro ottenuta nel Campione dovrà essere un valore appartenente allo Spazio Parametrico e il nostro obiettivo sarà formalizzare e definire un Impianto teorico e modellistico che ci consenta di ottenere una Stima Puntuale del Parametro di interesse. Le Stime dei Parametri che noi otteniamo sono evidentemente delle realizzazioni di una determinata
variabile casuale che dipenderà dalle Y e, in particolare, avremo bisogno di una variabile casuale o di una
statistica che restituisca, una volta aver osservato la N-pla Campionaria, delle valutazioni numeriche o Stime. Indichiamo con una Stima che è una funzione della N-pla Campionaria e che ci restituisce un valore numerico. Indichiamo invece con la funzione che ci consente
di ottenere la valutazione numerica e, in particolare, quando questa funzione g è una funzione non dei
valori, ma della N-pla Campionaria (cioè di una sequenza di variabili casuali) noi chiameremo questa quantità (ossia questa variabile casuale o questa statistica) con il termine Stimatore. Uno Stimatore è una particolare statistica o una variabile casuale finalizzata all’ottenimento della Stima Puntuale. Alla luce di ciò, nel momento in cui si realizza il Campione questa variabile casuale restituisce la Stima del Parametro. D’ora in avanti tutti i nostri sforzi saranno orientati a trovare il migliore Stimatore possibile e questa caratteristica fa riferimento alla qualità della Stima. Infatti, pur essendo una variabile casuale che restituisce la Stima, non sarà ammissibile uno Stimatore la cui stima restituita è lontana dal vero valore del Parametro, perché sarebbe di pessima qualità e conseguentemente da scartare. Come vedremo ci sono diversi criteri che possono essere utilizzati per trovare questo Stimatore e chiaramente ce ne sarà uno che sarà quello prevalente perché in qualche modo ci garantisce delle buone proprietà di cui siamo alla ricerca. Lo Stimatore, essendo una statistica, avrà anche una sua Distribuzione Campionaria ed è rappresentata dall’insieme di valori che può assumere nello Spazio Campionario.
Nella prima figura troviamo rappresenta la Distribuzione Campionaria di un ipotetico Stimatore e, in questo senso, possiamo già dire che non si tratta di un buon Stimatore, poiché, definito questo supporto che teoricamente può restituire questo insieme di valori, la maggior parte di essi sono lontani dal vero Valore del Parametro. Infatti, sebbene vi sia una qualche probabilità di osservare Campioni che portino a Stime vicine al vero valore del Parametro, la maggior parte di essi sono ben distanti da 0. Per lo stesso motivo prima, nella seconda figura troviamo invece uno Stimatore che può essere considerato di buona qualità. Nel terzo caso troviamo un altro Stimatore di ottima qualità, poiché è molto concentrato intorno al vero valore (^) 0 e questo significa che qualsiasi Campione si estragga la differenza che si potrebbe osservare è abbastanza contenuta. È chiaro che possiamo sperare di avere un comportamento come lo Stimatore in questione quando è abbastanza centrato intorno al vero valore ignoto e intuitivamente, in riferimento al fatto che i risultati di indagini e studi statistici condotta su campioni grandi sono chiaramente più attendibili di quelli condotti su studi piccoli, significa dire che quanto più il campione è grande tanto migliore dovrà essere la qualità dell’informazione che abbiamo sulla Stima Puntuale. Vale a dire che tanto più vicina dovrà essere la Stima Puntuale al vero valore del Parametro e, se questo è vero, al crescere della numerosità campionaria la Distribuzione Campionaria di un buon Stimatore dovrebbe centrarsi, posizionarsi e concentrarsi intorno al varo valore del Parametro. Sulla base di questa discussione possiamo enunciare che quando si valuta il comportamento di uno Stimatore il primo e il più importante aspetto è quello legato alla posizione della sua Distribuzione. In questo senso la prima caratteristica che potrebbe avere uno Stimatore è l’unimodalità. Tuttavia, nel quarto caso con uno Stimatore unimodale come quello riportato in baso e uno bimodale come quello di sopra, sceglieremmo quello di sopra, in quanto lo Stimatore unimodale in basso ci restituisce addirittura una probabilità nulla di osservare Campioni che portino a Stime vicine valore del Parametro. Pertanto, pur avendo una variabilità campionaria ridotta le Stime che otterremmo da questa Distribuzione Campionaria saranno tutte lontane da 0. Nel caso dello Stimatore riportato in alto, osserviamo poche volte dei Campioni che portino a delle Stime vicine al vero valore del Parametro e questo vuol dire che, mettendoci nell’ottica dell’unico Campione che estraiamo e che analizziamo, la probabilità di osservarne uno che porti a delle Stime vicine a 0 è bassa.
Sulla base di tutto ciò che abbiamo sulla Logverosimiglianza, dati il Modello specificato e la N-pla Campionaria, Lo Stima di Massima Verosimiglianza corrisponde alla più elevata plausibilità o verosimiglianza. Per risolvere questo problema di ottimizzazione e trovare, quindi, il punto di massimo dobbiamo calcolare la derivata prima della Logverosimiglianza. Tuttavia, trovare un punto stazionario è una condizione necessaria, ma non sufficiente, perché teoricamente potremmo avere un punto di massimo, un punto di minimo e infine un punto di flesso. Tuttavia, siccome abbiamo detto che i Modelli regolari e, in particolare, la Logverosimiglianza è concava, la condizione di stazionarietà e, di conseguenza, la radice che annulla la derivata prima (o per meglio dire quell’equazione di stima) è anche soluzione di massimo. Alla luce di ciò, la condizione, che in genere è necessaria, è anche sufficiente. Pertanto, possiamo definire lo Stimatore di Massima Verosimiglianza anche come l’argomento che annulla l’equazione di stima ottenuta come la derivata della Logverosimiglianza rispetto a . Facciamo adesso un esempio assumendo che il Modello assunto sia di tipo Esponenziale Y exp( ) ( ;^ ) y
f y y e
=^ −^ Costruiamo adesso la Funzione di Logverosimiglianza del Modello: 1
( ; ) log( )
n i i
l Y n Y
= = − (^) Pertanto, lo Stimatore di Massima Verosimiglianza di Parametro del Modello Esponenziale è l’argomento
per che massimizza per 0 (che è lo Spazio Parametrico di un Modello Esponenziale) la
Logverosimiglianza del Modello: Per risolvere questo problema di ottimizzazione e trovare, quindi, il punto di massimo dobbiamo calcolare la derivata prima della Logverosimiglianza di cui poniamo l’espressione uguale a zero. Dal momento che abbiamo detto che la Logverosimiglianza è concava, la condizione di stazionarietà e, di conseguenza, la radice che annulla la derivata prima (o per meglio dire quell’equazione di stima) è anche soluzione di massimo. Pertanto, possiamo definire lo Stimatore di Massima Verosimiglianza anche come l’argomento che annulla l’equazione di stima ottenuta come la derivata della Logverosimiglianza rispetto a . Calcolando la derivata prima della Logverosimiglianza del Modello Esponenziale rispetto a otteniamo:
Risolvendo l’equazione otteniamo che lo Stimatore di Massima Verosimiglianza di Parametro di un Modello Esponenziale è il reciproco della Media Campionaria. Pertanto, date una serie di informazioni e fatta l’assunzione di Modello Esponenziale una Stima Puntuale di Massima Verosimiglianza ragionevole è ottenuta con la stessa forma che abbiamo per lo Stimatore in corrispondenza della N-pla Campionaria osservata. Facciamo adesso un altro esempio assumendo che il Modello assunto sia di Poisson Y pois ( )
y
f y y e
y
−
Costruiamo adesso la Funzione di Logverosimiglianza del Modello: 1 1
( ) log( ) log( !)
n n i i i i l Y y n = = = (^) − (^) − Pertanto, lo Stimatore di Massima Verosimiglianza di Parametro del Modello di Poisson è l’argomento per che massimizza per (^) 0 la Logverosimiglianza del Modello: Per risolvere questo problema di ottimizzazione e trovare, quindi, il punto di massimo dobbiamo calcolare la derivata prima della Logverosimiglianza di cui poniamo l’espressione uguale a zero. Dal momento che abbiamo detto che la Logverosimiglianza è concava, la condizione di stazionarietà e, di conseguenza, la radice che annulla la derivata prima (o per meglio dire quell’equazione di stima) è anche soluzione di massimo. Pertanto, possiamo definire lo Stimatore di Massima Verosimiglianza anche come l’argomento che annulla l’equazione di stima ottenuta come la derivata della Logverosimiglianza rispetto a .
Risolvendo l’equazione otteniamo che lo Stimatore di Massima Verosimiglianza di Parametro di un Modello di Bernoulli è la Media Campionaria. Pertanto, se vogliamo calcolare la probabilità di successo con l’assunzione di un Modello di Bernoulli in cui abbiamo un solo numero di prove una Stima Puntuale di Massima Verosimiglianza ragionevole è ottenuta con la stessa forma che abbiamo per lo Stimatore in corrispondenza della N-pla Campionaria osservata. Abbiamo introdotto il concetto di Stimatore Puntuale di Massima Verosimiglianza. Se abbiamo definito la Logverosimiglianza l ( ; Y ), in cui le Y sono variabili casuali, lo Stimatore è una variabile casuale ed, in particolare, è una statistica che è finalizzata alla stima (o al valore numerico) del Parametro di interesse. È pertanto l’argomento che massimizza la Logverosimiglianza nello Spazio Parametrico.
. In virtù della concavità della Logverosimiglianza di modelli regolari, lo
Stimatore di Massima Verosimiglianza è definito come la soluzione della seguente equazione di stima arg u ( ; Y ) = (^0) , dove u è la derivata prima. La radice di questa equazione di Stima è lo Stimatore di Massima Verosimiglianza, mentre la realizzazione dello Stimatore prende il nome di Stima e la indicheremo
. Alla luce di ciò, la Stima di Massima Verosimiglianza è il massimante della Logverosimiglianza osservata. Inoltre, possiamo dire che lo Stimatore dipende anche dalla dimensione del Parametro e, pertanto, per modelli multi-parametrici avremo più Stimatori. Per di più, lo Stimatore ha una sua Distribuzione Campionaria, poiché è una variabile casuale o una statistica ed è definita nello Spazio Campionario. Le diverse realizzazioni dello Stimatore sono le stime (valori che otteniamo considerando i diversi Campioni dello Spazio Campionario). Naturalmente, se consideriamo la Popolazione oggetto di studio, ossia il modello statistico specificato, da cui possiamo estrarre diversi campioni, noi di fatto ne osserviamo un solo. In corrispondenza di questo Campione avremo una Stima. L’insieme delle diverse Stime definite in tutti i Campioni nello Spazio Campionario definisce i possibili valori dello Stimatore. O per meglio dire i possibili massimanti o possibili soluzioni dello Stimatore, cioè le Stime del Parametro che rappresentano la Distribuzione Campionaria di questa statistica. Naturalmente, la Distribuzione Campionaria dello Stimatore può essere discreta o continua e questo aspetto dipende dal tipo di Modello assunto.
Se rappresentiamo graficamente le possibili Distribuzioni Campionarie di un ipotetico Stimatore di un qualsiasi Parametro sul cui asse delle ascisse aggiungiamo 0 , che è il vero Valore del Parametro su cui vogliamo fare inferenza e sui cui si vogliono trarre delle informazioni, possiamo fare delle considerazioni in più rispetto a un generico grafico in cui 0 non è riportato. Infatti, se potessimo scegliere se avere uno Stimatore con una Distribuzione Campionaria come quella del Grafico A come quella del Grafico B, noi sceglieremmo B, perché come ben sappiamo lo scopo dello Stimatore è avere un valore numerico che sia quanto più possibile vicino a 0. Il messaggio che noi traiamo dalla Distribuzione Campionaria che la maggior parte delle stime saranno nei punti di maggior densità, in quanto più probabili. Pertanto, se dovessimo estrarre a caso un Campione, non c’è dubbio che è più facile osservarne uno che porti una Stima attorno a questi valori. Questi ovviamente hanno virtualmente una probabilità pari a zero. Inoltre, dobbiamo sempre ricordarci che quando facciamo un grafico e consideriamo una Distribuzione Campionaria come quella riportata nel primo caso, significa che qualsiasi Campione estraessimo le Stime ottenute sarebbero lontane dal vero valore (^) 0. E come ben sappiamo questo sarebbe un problema, perché speriamo sempre che le Stime (vale a dire le realizzazioni campionarie dello Stimatore) siano quanto più possibile vicine al vero valore del Parametro. Pertanto, uno Stimatore con questo comportamento sarebbe di pessima qualità. Se avessimo invece un altro grafico con una qualche possibilità di osservare una Stima che sia vicino a 0 , nonostante non sia un buon Stimatore in quanto la maggior parte delle Stime e dei Campioni si concentrerebbero nel punto di maggior densità, sarebbe comunque migliore in termini di posizione. Infatti, se considerassimo due Stimatori le cui Distribuzioni Campionarie sono rappresentate graficamente nella
La differenza tra il Valore Atteso della Distribuzione Campionaria e il vero valore del Parametro si dice invece Distorsione o Baised. Inoltre, uno Stimatore Non Distorto ha una distorsione pari a zero. Nel caso di Distribuzioni Multi- parametriche, come la statistica Score il cui Valore Atteso è zero, se e solo se il Valore Atteso di ciascuna Distribuzione marginale è zero, lo stesso vale per gli Stimatori. Noi diremo infatti che gli Stimatori di Modelli multi-parametrici sono Non Distorti, se e solo se il Valore Atteso di ciascuna Distribuzione Marginale è uguale al vero valore del Parametro di riferimento. Pertanto, per poter dire che uno Stimatore è Non Distorto, la differenza tra il Valore Atteso e il Vero valore del Parametro deve valere su tutto lo Spazio Parametrico. Facciamo adesso l’esempio di uno Stimatore di un Modello di Bernoulli, che è la Media Campionaria, attraverso cui stimiamo la probabilità di successo. In questo caso se il vero valore del Parametro è 0.5 (o vicino a questo valore) lo Stimatore è Non Distorto. Se il vero valore del Parametro è 0.9 o 0.1 oppure 0.2 lo Stimatore è Distorto. Non è una cosa strana, perché ci possono essere degli Stimatori il cui comportamento dipende dal vero valore del Parametro. Adesso verifichiamo che lo Stimatore Puntuale di Massima Verosimiglianza di Parametro di un Modello di Bernoulli sia Non Distorto e lo appuriamo calcolando il suo Valore Atteso. Pertanto, lo Stimatore di Massima Verosimiglianza di un Modello di Bernoulli, che è la Media Campionaria, è uno Stimatore Non Distorto. Abbiamo, quindi, utilizzato la Media Aritmetica o la Frequenza Relativa di Successo per stimare la Probabilità di successo. In questo caso avremo che la maggior parte dei Campioni che potremmo osservare estraendo a caso porteranno a delle stime che noi otterremo saranno vicine a 0. Questo significa che tra due probabilità di un evento siamo ragionevolmente portati ad accettare quella con probabilità più alta.
Facciamo un altro esempio considerando lo Stimatore di un Modello di Poisson, che è ancora una volta la Media Campionaria. Applicando l’operatore Valore Atteso proviamo a verificare che lo Stimatore di Massima Verosimiglianza di un Modello di Poisson, che coincide con la Media Campionaria, sia uno Stimatore Non Distorto. Pertanto, lo Stimatore Puntuale di Massima Verosimiglianza di Parametro di un Modello di Poisson è uno Stimatore Non Distorto. Facciamo un ulteriore esempio considerando lo Stimatore di un Modello Esponenziale, che è pari al reciproco della Media Campionaria. Verifichiamo adesso se lo Stimatore preso in considerazione è uno Stimatore Non Distorto calcolando il suo Valore Atteso. In questo caso dobbiamo fermarci, perché l’operatore Valore Atteso è lineare. Infatti, per la strumentazione che abbiamo acquisito fino adesso non sappiamo rispondere. Non sappiamo cioè dire qual è il Valore Atteso di di un Modello Esponenziale, ma possiamo comunque dire che si tratta di uno Stimatore Distorto, perché invocando la Disuguaglianza di Jensen il Valore Atteso di una trasformazione non lineare è assolutamente diverso dalla trasformazione del Valore Atteso. 0 ^ g^ (^ X^ )^ g^^ (^0 (^ X )) Diremo, pertanto, che lo Stimatore Puntuale di Massima Verosimiglianza di Parametro di un Modello Esponenziale è uno Stimatore Distorto. Inoltre, non possiamo nemmeno quantificare la relativa Distorsione, poiché non siamo in grado di calcolare il Valore Atteso di.
Risolvendo l’equazione otteniamo che lo Stimatore di Massima Verosimiglianza di Parametro (^) di un Modello Normale è la Media Campionaria. Applicando l’operatore Valore Atteso proviamo a verificare che lo Stimatore di Massima Verosimiglianza di Parametro di un Modello Normale, che coincide con la Media Campionaria, sia uno Stimatore Non Distorto. Pertanto, lo Stimatore Puntuale di Massima Verosimiglianza di Parametro di un Modello Normale è uno Stimatore Non Distorto. Trattandosi di uno Stimatore espresso sotto forma di Media, possiamo anche calcolare la Varianza. Analizzando i vari casi possiamo notare che la Varianza dipende dal vero valore del Parametro (avendo aggiunto come pedice lo zero). L’altra caratteristica è che tutte le espressioni hanno n al denominatore e ciò significa che al crescere di n la Varianza diminuisce. In termini sostanziali significa che al crescere della Numerosità Campionaria la Distribuzione Campionaria subisce delle modifiche restringendosi. Il fatto che n compaia al denominatore, a parità degli altri valori, fa sì che al crescere delle unità nel Campione la Varianza diminuisca. Più precisamente, aumentando la Numerosità Campionaria i risultati che otteniamo saranno più simili tra i diversi Campioni. In particolare, se al crescere di n lo Stimatore risulta sempre essere non Distorto, significa che otterremo dei valori di Stima che tra un Campione e l’altro sono poco differenti tra di loro e molto più vicini al vero valore del Parametro. Alla luce di ciò, possiamo dire che il Valore Atteso ci suggerisce che la Stima è ragionevolmente vicina a 0 , mentre la Varianza quantifica invece quanto
instabili saranno i risultati. La stabilità o l’incertezza delle Stime attiene alla Varianza e questo significa più grande è la Varianza di uno Stimatore, più incertezza e instabilità avremo nelle Stime. Il più delle volte riusciamo a studiare e a distinguere Stimatori, vale a dire che siamo in grado di stabilire quale Stimatore sia preferibile a un altro. Tuttavia, altre volte possiamo imbatterci in delle situazioni in cui non è facile fare la scelta opportuna. Per ovviare a questo inconveniente, definiamo una misura che tenga conto del comportamento del Valore Atteso (cioè in termini di distorsione) e delle Varianza (cioè in termini di incertezza) che chiameremo Errore Quadratico Medio , definito per l’appunto come il Valore Atteso della differenza tra lo Stimatore e il vero valore del Parametro al quadrato. L’Errore Quadratico Medio misura la performance di uno Stimatore tenendo conto del comportamento in Valore Atteso e del comportamento in termini di variabilità ed è una misura che indica quanto in media la Distribuzione Campionaria dello Stimatore si discosta dal vero valore del Parametro. Si tratta cioè di un criterio per scegliere gli Stimatori di Parametri di posizione che definiscono la posizione della Distribuzione sull’asse delle ascisse. La Varianza non è un Parametro di posizione, perché sebbene sia possibile calcolare l’MSE per lo Stimatore della Varianza non sarebbe la misura più appropriata per scegliere uno Stimatore. Abbiamo appena definito L’MSE come il Valore Atteso della differenza tra lo Stimatore e il vero valore del Parametro al quadrato. Aggiungiamo e sottraiamo all’interno della parantesi il Valore Atteso dello Stimatore E raggruppandoli in modo opportuno otteniamo Svolgiamo i quadrati Applichiamo adesso il Valore Atteso su ciascun termine Concentrandoci sul secondo termine ci accorgiamo che è una costante, in quanto abbiamo il quadrato della differenza tra il Valore Atteso, che è un valore numerico, e il vero valore del Parametro. E sappiamo che il Valore Atteso di una costante è uguale alla costante stessa. Di conseguenza, otteniamo la Distorsione al quadrato.
. Si tratta di una misura che potrebbe essere utilizzata soltanto per Stimatori di Parametri di posizione valutando il giusto trade off che c’è tra la Distorsione e Variabilità. Questo significa che più piccolo è l’MSE, migliore sarà lo Stimatore. Sebbene possa risultare un po’ difficile comprenderlo, il comportamento dello Stimatore può dipendere dal vero valore (^) 0. Se per esempio (^) 0 si trova al centro dello Spazio Parametrico, lo Stimatore è Non Distorto, in caso contrario si dirà invece Distorto. Quando uno Stimatore ha l’MSE basso per qualsiasi valore di 0 , definiamo lo Stimatore stesso a Varianza Uniformemente Minima. Una volta aver appurato che lo Stimatore è Non Distorto e per cui la Distorsione è uguale a zero, l’Errore Quadratico Medio coincide con la Varianza. Alla luce di ciò, facciamo delle considerazioni in più sulla Varianza. Ricordando la statistica Score, definita come la derivata della Funzione di Logverosimiglianza rispetto a calcolata nel punto 0 , ( ) ( ) (^ ) (^00 )
; log ;
y n
l Y f y
U
siamo interessati a calcolare la Covarianza tra lo Stimatore di Massima Verosimiglianza e la Statistica Score. Che per definizione è data dalla differenza tra il Momento Centrale Misto e il prodotto dei due Valori Attesi. Tuttavia, sappiamo anche che il Valore Atteso della statistica score è zero. Pertanto, la Covarianza tra lo Stimatore di Massima Verosimiglianza e la Statistica Score sarà uguale soltanto al Momento Centrale Misto. Il Momento Centrale Misto può essere riscritto come l’integrale multiplo di una trasformazione di variabili casuali.
Riscriviamo come in funzione delle Y e la statistica Score come la derivata prima della Funzione di
Logverosimiglianza rispetto a calcolata nel punto 0.
Per enfatizzare la dipendenza dalle Y , che rappresentano una costante di integrazione, svolgiamo la
derivata della Logverosimiglianza e la calcoliamo rispetto a 0. Facendo alcune semplificazioni, tutto l’integrale è valutato rispetto a 0 e quello che otteniamo è l’integrale del prodotto tra la Funzione delle Y , che non dipende da 0 , e la derivata calcolata in 0.
Il Modello è regolare e, alla luce di ciò, possiamo scambiare l’ordine di derivazione e di integrazione. Questa quantità a cui siamo giunti, a meno dell’operazione di derivazione, è esattamente il Valore Atteso dello Stimatore calcolato per un generico . Ragion per cui, possiamo riscrivere l’integrale di partenza come la derivata rispetto a del Valore Atteso dello Stimatore calcolato in 0. In particolare, se lo Stimatore è Non Distorto il suo Valore Atteso sotto qualsiasi valore dello Spazio Parametrico è 0. Tuttavia, in generale senza indicizzare 0 , se lo Stimatore fosse non Distorto il suo Valore Atteso è uguale a . Infatti, se noi conoscessimo 0 , lo Stimatore è non distorto e sarà uguale al vero valore del Parametro. Se noi non conoscessimo 0 , il Valore Atteso dello Stimatore sarebbe semplicemente sotto qualsiasi valore del Parametro. Questo significa che per un qualsiasi la derivata dello Stimatore è uguale a 1. Più precisamente, se lo Stimatore fosse Non Distorto la Covarianza tra lo Stimatore di Massima Verosimiglianza e la statistica Score è uguale a 1. In generale, noi non sappiamo se lo Stimatore è Non Distorto o meno, per cui la Covarianza tra queste due variabili casuali è uguale alla derivata rispetto a del Valore Atteso dello Stimatore calcolata in 0. Invochiamo adesso la Disuguaglianza di Cauchy secondo cui in questo caso la Covarianza tra lo Stimatore di Massima Verosimiglianza e la Statistica score è minore o uguale al prodotto delle due Deviazioni Standard.
piccola possibile. Fatte queste osservazioni, se noi trovassimo uno Stimatore la cui Varianza è esattamente uguale all’inverso dell’Informazione Attesa di Fisher, esso avrebbe la migliore performance tra tutti i possibili Stimatori raggiungendo così il Limite Inferiore di Rao Cramér. In particolare, uno Stimatore la cui Varianza raggiunge il Limite Inferiore di Rao Cramér si dirà Pienamente Efficiente. Il concetto di piena Efficienza è superlativo, in quanto uno Stimatore si dirà pienamente efficiente se la sua Varianza è la più bassa tra tutti i possibili Stimatori di quel Parametro e per essere sicuri che sia così, è necessario che raggiunga il LIRC. Se consideriamo due Stimatori e di cui calcoliamo le relative Varianze In questo caso ci accorgiamo che la Varianza della Stimatore è maggiore di quella dello Stimatore e, in virtù di quanto detto prima, si avrà che è più efficiente di. Di conseguenza, l’aggettivo efficiente è comparativo, mentre il concetto di Piena Efficienza è superlativo e fa riferimento a uno Stimatore che vince su tutti gli altri Stimatori. Nel caso Modelli unidimensionali calcolare il reciproco o l’inverso per uno scalare è la stessa cosa. Nel caso di vettori multidimensionali (come nel caso degli Stimatori di (^) e ^2 del Modello Normale), non avremo più la Varianza di uno scalare, ma avremo una Matrice di Varianze e Covarianze e, di conseguenza, nel caso dello Score una Matrice di Informazione. Infatti, per Modelli multi-parametrici la statistica Score ha una dimensione pari al numero dei Parametri e, dunque, la Varianza sarà una Matrice pari al numero dei Parametri. Pertanto, la Disuguaglianza di Rao Cramér è sempre definita, ma il numero 1 nel caso di Matrice significa calcolare la sua inversa. Nel caso di Modelli Multi-Parametrici La Matrice di Varianza e Covarianze dello Stimatore è maggiore o uguale all’inversa della Matrice di Informazione. Consideriamo adesso lo Stimatore di Massima Verosimiglianza di Parametro di un Modello di Poisson, che è uno Stimatore Non Distorto e lo si dimostra facilmente calcolando il suo Valore Atteso che è proprio uguale al vero valore del Parametro. Anche la Varianza è facile da ottenere, perché ricordiamo che l’operatore Varianza è lineare
Adesso ci chiediamo se lo Stimatore di Massima Verosimiglianza di Parametro di un Modello di Poisson è Pienamente Efficiente. Per rispondere a questa domanda dobbiamo verificare che la Varianza di questo Stimatore sia uguale al Limite Inferiore di Rao Cramér, ovvero al reciproco dell’Informazione Attesa di Fisher. Calcolando l’Informazione Attesa di Fisher e il suo reciproco, arriviamo alla conclusione che lo Stimatore di Massima Verosimiglianza di Parametro di un Modello di Poisson è Non Distorto e anche Pienamente Efficiente, perché la sua Varianza raggiunge il LIRC.
Inoltre, è possibile notare che il LIRC dipende da n e, quindi, al crescere della Numerosità Campionaria il Limite Inferiore di Rao Cramér, che è l’inverso della Informazione Attesa, diminuisce. Lo stesso Comportamento sarà assunto dalla Varianza dello Stimatore, poiché al crescere di n e a parità di altre condizioni essa diminuisce e avremo dei risultati più stabili e meno incerti. Questo significa che più è grande il Campione, più attendibili, meno incerti e più stabili saranno i risultati. Può anche succedere che al crescere di n la Varianza dello Stimatore diminuisca e che si avvicini al Limite Inferiore di Rao Cramér soltanto per grandi Campioni. In altre parole, se il Campione è piccolo non avremmo uno Stimatore ideale, perché potremmo trovare degli Stimatori con una migliore performance. Per grandi Campioni questo Stimatore comincerebbe a comportarsi bene. In Particolare, uno Stimatore che raggiunge il LIRC asintoticamente prende il nome di uno Stimatore che è Asintoticamente Pienamente Efficiente. Vale a dire che se il Campione è piccolo la sua Varianza è lontana dal LIRC, ma al crescere della Numerosità Campionaria essa comincia ad avvicinarsi alla soluzione ottimale. Molto spesso non è possibile studiare il comportamento di uno Stimatore nell’esatto, ma ci accontentiamo di farlo asintoticamente (cioè per grandi Campioni). Questo vuol dire che se potessimo arruolare Campioni numerosi, avremmo garanzie ottimali. Sappiamo anche che al crescere di n, la Distribuzione Campionaria deve concentrarsi attorno al suo Valore Atteso, cioè la Varianza deve diminuire. Nel grafico A al crescere di n troviamo rappresentato uno Stimatore la cui Varianza diminuisce, ma il cui Valore Atteso non si avvicina a 0. Nel grafico B Nell’esatto il Valore Atteso dello Stimatore è diverso da 0 , ma man mano che il Campione cresce la Varianza diminuisce e il Valore Atteso si avvicina al vero valore del Parametro. Nel grafico C la Distorsione si riduce, mentre la variabilità rimane stabile. Nel grafico D al crescere di n lo Stimatore ha un Valore Atteso che si avvicina a 0 e la Varianza diminuisce. Nel grafico E all’aumentare della Numerosità Campionaria la Varianza diminuisce, ma il suo Valore Atteso è già Non Distorto nell’esatto. Facendo degli opportuni confronti, i casi B, D e E sono degli Stimatori accettabili. Il migliore è senza ombra di dubbio E, perché è uno Stimatore Non Distorto nell’esatto e ha una Varianza che diminuisce al crescere di n. D è invece preferibile a B, perché la Varianza diminuisce più velocemente assumendo che nei tre grafici ci sia la stessa Numerosità Campionaria.
