Notes sur les estimateurs de vraisemblance - 1° partie, Notes de Mathématiques
Caroline_lez
Caroline_lez13 January 2014

Notes sur les estimateurs de vraisemblance - 1° partie, Notes de Mathématiques

PDF (268.7 KB)
6 pages
34Numéro de visites
Description
Notes de mathématique surles estimateurs de vraisemblance - 1° partie. Les principaux thèmes abordés sont les suivants: les estimateurs de la loi normale, l'estimateur de la loi de poisson.
20points
Points de téléchargement necessaire pour télécharger
ce document
Télécharger le document
Aperçu3 pages / 6
Ceci c'est un aperçu avant impression
Chercher dans l'extrait du document
Ceci c'est un aperçu avant impression
Chercher dans l'extrait du document
Aperçu avant impression terminé
Chercher dans l'extrait du document
Ceci c'est un aperçu avant impression
Chercher dans l'extrait du document
Ceci c'est un aperçu avant impression
Chercher dans l'extrait du document
Aperçu avant impression terminé
Chercher dans l'extrait du document

Estimateurs de Vraisemblance.

Ce qui va suivre est d'une extrême importance en statistiques et est utilisé énormément en

pratique. Il convient donc d'y accorder une attention toute particulière!

Nous supposons que nous disposons d'observations qui sont des réalisations de

variables aléatoires non biaisées (dans le sens qu'elles sont choisies aléatoirement parmi un lot)

indépendantes de loi de probabilité inconnue mais identique.

Nous allons chercher à estimer cette loi de probabilité P inconnue à partir des

observations .

Supposons que nous procédons par tâtonnement pour estimer la loi de probabilité P inconnue.

Une manière de procéder est de se demander si les observations avaient une

probabilité élevée ou non de sortir avec cette loi de probabilité arbitraire P.

Nous devons pour cela calculer la probabilité conjointe qu'avaient les

observations de sortir avec . Cette probabilité vaut (cf. chapitre de

Probabilités):

(7.1)

en notant P la loi de probabilité supposée associée à . Il faut avouer qu'il serait

alors particulièrement maladroit de choisir une loi de probabilité (avec ses paramètres!) qui

minimise cette quantité...

Au contraire, nous allons chercher la probabilité qui maximise ,

c'est-à-dire qui rende les observations le plus vraisemblable possible.

Nous sommes donc amené à chercher le (ou les) paramètre(s) qui maximise(nt) la quantité :

(7.2)

Cette quantité L porte le nom de "vraisemblance". C'est une fonction du ou des paramètres et

des observations .

La ou les valeurs du paramètre qui maximisent la vraisemblance sont appelées

"estimateurs du maximum de vraisemblance" (estimateur MV).

Faisons quand même trois petits exemples (très classiques, utiles et importants dans l'industrie)

avec dans l'ordre d'importance (donc pas forcément dans l'ordre de facilité...) la fonction de

distribution de Gauss-Laplace (Normale), la fonction de distribution de Poisson et finalement

Binomiale.

Remarque: Ces trois exemples sont importants car utilisés dans les SPC (maîtrise statistiques de processus)

dans différentes multinationales à travers le monde (cf. chapitre de Génie Industriel).

5.1. ESTIMATEURS DE LA LOI NORMALE

Soit un n-échantillon de variables aléatoires identiquement distribuées supposées

suivre une loi de Gauss-Laplace (loi Normale) de paramètres et .

Nous recherchons quelles sont les valeurs des estimateurs de maximum de vraisemblance qui

maximisent la vraisemblance de la loi Normale ?

Remarque: Il va de soit que les estimateurs de maximum de vraisemblance sont ici :

(7.3)

Nous avons démontré plus haut que la densité d'une variable aléatoire gaussienne était donnée

par :

(7.4)

La vraisemblance est alors donnée par:

(7.5)

Maximiser une fonction ou maximiser son logarithme est équivalent donc la "log-vraisemblance"

sera:

(7.6)

Pour déterminer les deux estimateurs de la loi Normale, fixons d'abord l'écart-type. Pour cela,

dérivons par rapport à et regardons pour quelle valeur de la moyenne la

fonction s'annule.

Il nous reste après simplification le terme suivant qui est égal à zéro:

(7.7)

Ainsi, l'estimateur de maximum de vraisemblance de la moyenne (espérance) de la loi Normale est

donc après réarrangement:

(7.8)

et nous voyons qu'il s'agit simplement de la moyenne arithmétique (ou appelée aussi "moyenne

empirique").

Fixons maintenant la moyenne. L'annulation de la dérivée de en conduit à :

(7.9)

Ce qui nous permet d'écrire l'estimateur de maximum de vraisemblance pour l'écart-type (la

variance lorsque la moyenne est connue selon la loi de distribution supposée elle aussi connue!):

(7.10)

Cependant, nous n'avons pas encore défini ce qu'était un bon estimateur ! Ce que nous entendons

par là:

- Si l'espérance d'un estimateur est égale à elle-même, nous disons que cet estimateur est "sans

biais" et c'est bien évidemment ce que nous cherchons!

- Si l'espérance d'un estimateur n'est pas égale à elle-même, nous disons alors que cet estimateur

est "biaisé" et c'est forcément moins bien...

Dans l'exemple précédent, la moyenne est donc non biaisée (trivial car la moyenne de la moyenne

arithmétique est égale à elle même). Mais qu'en est-il de la variance (in extenso de l'écart-type) ?

Un petit calcul simple par linéarité de l'espérance (puisque les variables aléatoires sont

identiquement distribuées) va nous donner la réponse dans le cas où la moyenne théorique est

approchée comme dans la pratique (industrie) par l'estimateur de la moyenne (cas le plus

fréquent).

Nous avons donc le calcul de l'espérance de la "variance empirique":

(7.11)

Or, comme les variables sont équidistribuées:

(7.12)

Et nous avons (formule de Huyghens):

(7.13)

ainsi que :

(7.14)

où la deuxième relation ne peut s'écrire que parce que nous utilisons l'estimateur de maximum de

vraisemblance de la moyenne (moyenne empirique). D'où:

(7.15)

et comme:

et (7.16)

Nous avons finalement:

(7.17)

nous avons donc un biais de -1 fois l'erreur-standard:

(7.18)

Nous noterons également que l'estimateur tend vers un estimateur sans biais (E.S.B.) lorsque le

nombre d'échantillons tend vers l'infini . Nous disons alors que nous avons un "estimateur

asymptotiquement non biaisé".

Remarque: Un estimateur est aussi dit "estimateur consistant" s'il converge en probabilité, lorsque

, vers la vraie valeur du paramètre.

De par les propriétés de l'espérance, nous avons alors:

(7.19)

il vient alors:

(7.20)

Nous avons donc finalement deux résultats importants:

1. L'estimateur de maximum de vraisemblance biaisé ou appelé également "variance empirique" ou

encore "variance échantillonnale" et donc donné par:

(7.21)

lorsque .

2. Et donc "l'estimateur de maximum vraisemblance non biaisé":

(7.22)

deux relations que nous retrouvons souvent dans les tables et dans de nombreux logiciels et que

nous utiliserons plus bas dans les développements des intervalles de confiance et des tests

d'hypothèses!

Par exemple, dans MS Excel l'estimateur biaisé est donné par la fonction ECARTYPEP( ) et le non

biaisé par ECARTTYPE( ).

Au total, cela nous fait donc trois estimateurs pour la même quantité!! Comme dans l'écrasante

majorité des cas de l'industrie la moyenne théorique n'est pas connue, nous utilisons le plus

souvent les deux dernières relations encadrées ci-dessus. Maintenant, c'est la que c'est le plus

vicieux : lorsque nous calculons le biais des deux estimateurs, le premier est biaisé, le second ne

l'est pas. Donc nous aurions tendance à utiliser que le second. Que nenni! Car nous pourrions

aussi parler de la variance et de la précision d'un estimateur, qui sont aussi des critères importants

pour juger de la qualité d'un estimateur par rapport à un autre. Si nous faisions le calcul de la

variance des deux estimateurs, alors le premier, qui est biaisé, a une variance plus petite que le

second qui est sans biais! Tout ça pour dire que le critère du biais n'est pas (et de loin) le seul à

étudier pour juger de la qualité d'un estimateur.

Enfin, il est important de se rappeler que le facteur -1 du dénominateur de l'estimateur de

maximum de vraisemblance non biaisé provient du fait qu'il fallait corriger l'espérance de

l'estimateur biaisé à la base minoré de une fois l'erreur-standard!

In extenso, ils est possible de démontrer (mais c'est long) que si la variable aléatoire suivant une

loi normale dont nous cherchons l'expression de l'estimateur non biaisé est la somme

de k variables aléatoires linéairement indépendantes alors nous avons:

(7.23)

5.2. ESTIMATEUR DE LA LOI DE POISSON

En utilisant la même méthode que pour la loi Normale (Gauss-Laplace), nous allons donc

rechercher l'estimateur de maximum de vraisemblance la loi de Poisson qui rappelons-le, est

définie par :

(7.24)

Dès lors, la vraisemblance est donnée par :

(7.25)

Maximiser une fonction ou maximiser son logarithme est équivalent donc:

(7.26)

Nous cherchons maintenant à la maximiser :

(7.27)

et obtenons donc son unique estimateur de maximum de vraisemblance qui sera :

(7.28)

Il est tout à fait normal de retrouver dans cet exemple didactique la moyenne empirique, car c'est

le meilleur estimateur possible pour le paramètre de la loi de Poisson (qui représente aussi

l'espérance d'une loi de Poisson).

Sachant que l'écart type de la distribution particulière (voir plus haut) n'est que la racine carrée de

la moyenne, nous avons alors pour l'écart-type de maximum de vraisemblance biaisé:

(7.29)

Remarque: Nous montrons de la même manière des résultats identiques pour la loi exponentielle très

utilisée en maintenance préventive et fiabilité!

commentaires (0)
Aucun commentaire n'a été pas fait
Écrire ton premier commentaire
Ceci c'est un aperçu avant impression
Chercher dans l'extrait du document
Docsity n'est pas optimisée pour le navigateur que vous utilisez. Passez à Google Chrome, Firefox, Internet Explorer ou Safari 9+! Téléchargez Google Chrome