Cours de probabilite, Lecture notes of Probability and Statistics

Download Cours de probabilite and more Lecture notes Probability and Statistics in PDF only on Docsity!

Cours de Probabilités

Jean-Yves DAUXOIS

Septembre 2013

• 1 Introduction au calcul des probabilités
  • 1.1 Espace probabilisable et loi de variable aléatoire
    • 1.1.1 Un exemple fondamental
    • 1.1.2 Tribus
    • 1.1.3 Mesures et probabilités
    • 1.1.4 Variables aléatoires
    • 1.1.5 Loi de probabilité d’une variable aléatoire
  • 1.2 Conditionnement
    • 1.2.1 Probabilité conditionnelle à un événement
    • 1.2.2 Formule de Bayes
  • 1.3 Indépendance en probabilité
    • 1.3.1 Indépendance d’événements
    • 1.3.2 Indépendance de tribus
    • 1.3.3 Indépendance de variables aléatoires
    • 1.3.4 Lien entre les différents types d’indépendance
  • 1.4 Espace probabilisé produit
  • 1.5 Loi conjointe d’un n-uplet de variables aléatoires indépendantes
• 2 Lois sur R et lois sur Rn
  • 2.1 Variables aléatoires réelles
    • 2.1.1 Fonction de répartition
    • 2.1.2 Lois discrètes
    • 2.1.3 Lois continues
    • 2.1.4 Changement de variables
  • 2.2 Vecteurs aléatoires
    • 2.2.1 Fonction de répartition
    • 2.2.2 Densité de probabilité
    • 2.2.3 Loi conditionnelle et densité conditionnelle
    • 2.2.4 Changement de variables
    • 2.2.5 Indépendance
  • 2.3 Extension de la notion de densité
    • 2.3.1 Intégrale par rapport à une mesure
      • autre. Densité 2.3.2 Absolue continuité d’une mesure par rapport à une
    • 2.3.3 Mélange de lois
    • 2.3.4 Densités conjointes, marginales et conditionnelles
• 3 Moments de variables aléatoires - tique 3.1 Variables aléatoires réelles intégrables et espérance mathéma-
  • 3.2 Moments de variables aléatoires réelles
    • 3.2.1 Espace Lp
    • 3.2.2 Espace L
  • 3.3 Vecteurs aléatoires
    • 3.3.1 Espérance mathématique
    • 3.3.2 Covariance de deux v.a.r.
    • 3.3.3 Matrice de covariance
    • 3.3.4 Espérance conditionnelle
  • caractéristique 4 Caractérisation des lois : transformée de Laplace et fonction
  • 4.1 Transformée de Laplace
    • 4.1.1 Variables aléatoires réelles
    • 4.1.2 Vecteurs aléatoires
  • 4.2 Fonction caractéristique
    • 4.2.1 Intégrale d’une variable aléatoire complexe
    • 4.2.2 Fonction caractéristique
• 5 Vecteurs gaussiens
  • 5.1 Exemple fondamental
  • 5.2 Définition
  • 5.3 Propriétés des vecteurs aléatoires gaussiens
    • 5.3.1 Transformation linéaire d’un vecteur gaussien
    • 5.3.2 Vecteur gaussien et indépendance
• 6 Convergences
  • 6.1 Convergence en loi
    • 6.1.1 Définition
    • 6.1.2 Caractérisation de la convergence en loi
    • 6.1.3 Approximation de lois
  • 6.2 Convergence en probabilité
    • 6.2.1 Définition
    • 6.2.2 Convergence en probabilité et convergence en loi
  • 6.3 Convergence presque sûre
    • 6.3.1 Définition
    • 6.3.2 Critères de convergence p.s.
    • 6.3.3 Convergence presque sûre et convergence en probabilité
    • 6.3.4 Loi forte des grands nombres
  • 6.4 Convergence dans Lp
  • 6.5 Résumé
• Index

Chapitre 1

Introduction au calcul des

probabilités

8 Chapitre 1. Introduction au calcul des probabilités

1.1 Espace probabilisable et loi de variable aléa-

toire

1.1.1 Un exemple fondamental

Considérons le jeu du lancé d’un dé. Notons Ω l’ensemble de tous les résultats possibles (appelés aussi épreuves ou résultats élémentaires) de cette expérience aléatoire Ω = { 1 , 2 , 3 , 4 , 5 , 6 }.

On note ω = 3 pour signifier que 3 est le résultat de l’épreuve. Dans cette expérience aléatoire, on peut s’intéresser à des événements plus complexes qu’un simple résultat élémentaire. On peut, par exemple, considérer l’événement A = “le résultat est un nombre pair” ou l’événement B = “le résultat est un nombre plus grand que 3”. On note A l’ensemble de ces événements. Notons que l’on a toujours A ⊂ P(Ω), où P(Ω) est l’ensemble des parties de Ω. Notons que l’inclusion précédente peut être stricte. On dit que l’événement A s’est réalisé si le résultat de l’expérience ω est tel que ω ∈ A. Enfin, on peut donner à chaque événement une pondération ou encore une probabilité. Ainsi, si le dé n’est pas pipé, l’intuition nous dit que la probabilité d’avoir l’événement A =“le résultat est un nombre pair” est 1/2, i.e. P (A) =

On peut bien sûr s’intéresser à la probabilité d’un événement C =“le résultat est un nombre pair plus grand ou égal à 4”. Remarquant que l’on a C ⊂ A, il sera alors naturel d’avoir

P (C) ≤ P (A) =

Nous allons maintenant donner un formalisme plus mathématique à ce triplet fondamental (Ω, A, P ) que nous venons d’introduire.

1.1.2 Tribus

Tout phénomène aléatoire fait appel à deux ensembles de type différent.

• Un ensemble Ω, appelé espace fondamental ou univers, qui contient l’ensemble de tous les résultats possibles. Ces derniers sont également appelés épreuves.

10 Chapitre 1. Introduction au calcul des probabilités

Remarque. On montre facilement que ces conditions sont suffisantes pour que toutes celles précitées soient vérifiées. En effet:

A ∩ B = A¯ ∪ B¯ ∈ A

A \ B = A ∩ B¯ ∈ A

∅ = Ω ∈ A

et si An appartient à A, pour tout n, alors

⋂

n

An =

n

A^ ¯n

∈ A. 3

Exemples de tribus.

• A = {φ, Ω} est une tribu et est appelée tribu grossière. On ne peut en construire de plus petite.

• A = P(Ω) est une tribu. C’est la tribu la plus fine, dans le sens où elle contient toutes les autres tribus sur Ω.

• Soit A une partie de Ω. L’ensemble des parties

A = {∅, A, A,¯ Ω}

est une tribu. 3

Définition 1.1.2 Lorsque A est une tribu sur Ω, le couple (Ω, A) est appelé espace probabilisable (ou mesurable).

Théorème 1.1.3 L’image réciproque d’une tribu par une application f est une tribu.

Preuve. Soit f une application de E vers F et F une tribu sur F. Notons

E = f −^1 (F) = {f −^1 (B), pour B ∈ F} = {A ⊂ E tel que f (A) ∈ F}.

• l’ensemble E est bien sûr élément de E puisque f (E) = F.

1.1. Espace probabilisable et loi de variable aléatoire 11

• Soit A un élément de E. Il existe donc un ensemble B dans F tel que A = f −^1 (B). On peut alors écrire :

A = {x ∈ E tel que f (x) ∈ B}.

D’où :

A^ ¯ = {x ∈ E tel que f (x) ∈/ B} = {x ∈ E tel que f (x) ∈ B¯} = f −^1 ( B¯).

Or B¯ appartient à F puisque F est une tribu et A¯ est donc dans E.

• Soient, pour tout n, An un élément de E. Il existe donc pour tout n, un élément Bn de A tel que An = f −^1 (Bn). D’où : ⋃

n

An = {x ∈ E tel qu’il existe n pour lequel x ∈ An}

= {x ∈ E tel qu’il existe n pour lequel f (x) ∈ Bn} = {x ∈ E tel que f (x) ∈ ∪nBn} = f −^1 (∪nBn) ,

qui appartient à E puisque ∪nBn appartient à F. Ainsi E est bien une tribu. 2

Théorème 1.1.4 Soit (Ω, A) un espace probabilisable et Ω′^ une partie de Ω. L’ensemble {A ∩ Ω′^ : A ∈ A}

est une tribu sur Ω′^ et est appelée trace de la tribu A sur Ω′.

Preuve. Notons

C = {C = A ∩ Ω′^ : A ∈ A}.

• On a Ω′^ = Ω ∩ Ω′^ et donc Ω′^ ∈ C
• Soit C un élément de C et notons C∗^ son complémentaire par rapport à Ω′. On a : C∗^ = A¯ ∩ Ω′^ ∈ C
• Supposons maintenant que, pour tout n, Cn soit dans C. Il existe donc pour tout n, An ∈ A, tel que Cn = An ∩ Ω′.

D’où: ⋃

n

Cn =

n

(An ∩ Ω′) =

n

An

∩ Ω′^ ∈ C.

Ainsi, C est bien une tribu sur Ω′. 2

1.1. Espace probabilisable et loi de variable aléatoire 13

Voyons un exemple particulier de tribu.

Définition 1.1.7 On appelle tribu borélienne sur R, la tribu engendrée par les intervalles ouverts de la forme ] − ∞, x[, pour tout x dans R. On la note BR.

On peut montrer que l’on a le résultat suivant.

Théorème 1.1.8 La tribu borélienne est également engendrée par les inter- valles de la forme ] − ∞, x], [x, +∞[, ]x, +∞[, [x, y], ]x, y[ etc...

1.1.3 Mesures et probabilités

Définition 1.1.9 On appelle mesure positive sur l’espace probabilisable (Ω, A) toute application μ de A dans

R

= [0, +∞]

telle que d’une part l’on ait μ(∅) = 0 et que d’autre part pour toute suite (An) d’éléments de A, deux à deux disjoints, on ait :

μ

n

An

n∈N

μ(An).

Le triplet (Ω, A, μ) est appelé espace mesuré.

Définition 1.1.10 Une mesure P sur (Ω, A) telle que P (Ω) = 1 est dite une probabilité. Le triplet (Ω, A, P ) est appelé espace probabilisé.

Proposition 1.1.11 Une probabilité vérifie les assertions suivantes :

(i) ∀A ∈ A, P ( A¯) = 1 − P (A); (ii) P (∅) = 0; (iii) ∀(A, B) ∈ A^2 , P (A ∪ B) = P (A) + P (B) − P (A ∩ B); (iv) Formule de Poincaré : soit A 1 ,... , An des événements de A. On a :

P

( (^) n ⋃

i=

Ai

∑^ n

i=

P (Ai) −

1 ≤i 1 <i 2 ≤n

P (Ai 1 ∩ Ai 2 )

1 ≤i 1 <i 2 <i 3 ≤n

P (Ai 1 ∩ Ai 2 ∩ Ai 3 )

• · · · + (−1)k−^1

1 ≤i 1 <···<ik ≤n

P (Ai 1 ∩ · · · ∩ Aik )

• · · · + (−1)n−^1 P (A 1 ∩ · · · ∩ An).

14 Chapitre 1. Introduction au calcul des probabilités

(v) Si A et B, deux éléments de A, sont tels que A ⊂ B, on a alors

P (A) ≤ P (B).

(vi) Inégalité de Boole : si A 1 ,... , An sont des événements de A, on a :

P

( (^) n ⋃

i=

Ai

∑^ n

i=

P (Ai).

Preuve. (i) P (Ω) = 1 = P (A) + P ( A¯) puisque A et A¯ sont disjoints. (ii) P (∅) = 1 − P (Ω) = 0. (iii) On a P (A ∪ B) = P (A ∩ B¯) + P (B).

Or P (A) = P (A ∩ {B ∪ B¯}) = P (A ∩ B) + P (A ∩ B¯).

Ainsi P (A ∩ B¯) = P (A) − P (A ∩ B). D’où P (A ∪ B) = P (A) + P (B) − P (A ∩ B). (iv) Exercice. (v) On a vu que

P (B ∩ A¯) = P (B) − P (A ∩ B).

Or A ⊂ B ⇒ A ∩ B = A.

D’où P (B) − P (A) = P (B ∩ A¯) ≥ 0. (vi) D’après le (iii) la formule est vraie pour n = 2. Supposons la vraie au rang n − 1. On a alors

P

( (^) n ⋃

i=

Ai

≤ P

(n− 1 ⋃

i=

Ai

• P (An) ≤

n∑− 1

i=

P (Ai) + P (An) =

∑^ n

i=

P (Ai)

La formule est donc vraie pour tout n, par récurrence. 2

Remarque. Les propriétés (iii), (v) et (vi) restent vraies pour les mesures. La propriété (ii) reste vraie pour une mesure si celle-ci n’est pas dégénérée (i.e. de valeur tout le temps +∞). 3

16 Chapitre 1. Introduction au calcul des probabilités

On appelle mesure de Dirac au point ω 0 de Ω la probabilité discrète δω 0 définie, pour tout A dans A par : { δω 0 (A) = 1 si ω 0 ∈ A δω 0 (A) = 0 sinon.

On a donc δω 0 (A) = 1lA(ω 0 ).

2. Construction d’une probabilité discrète plus générale Soit D = (ωn)n∈I une suite finie ou dénombrable d’éléments de Ω et (pn)n∈I une famille de réels tels que

∀n ∈ I, pn ≥ 0 et

n∈I

pn = 1.

Alors, l’application P définie par :

P =

n∈I

pnδωn

est une probabilité discrète sur (Ω, P(Ω)) ou (Ω, A) pour toute tribu A con- tenant tous les singletons. On a ∀n ∈ I : P ({ωn}) = pn

et ∀ ω ∈ Ω \ (ωn)n∈I : P ({ω}) = 0.

On peut ainsi définir, par exemple, l’équiprobabilité sur { 1 , 2 ,... , N }. Repre- nons en effet le jeu du lancé de dé. On a :

Ω = { 1 ,... , 6 } et A = P(Ω).

Si on prend comme probabilité sur Ω, l’équiprobabilité, on aura nécessaire- ment pour tout n = 1,... , 6 :

pn = P ({ωn}) = P (le résultat est n) =

Card Ω

et donc

P =

∑^6

n=

δωn.

1.1. Espace probabilisable et loi de variable aléatoire 17

Soit alors A une partie de Ω, on a alors :

P (A) =

∑^6

n=

δωn (A) =

Card A Card Ω

Bien sûr, si on a plus l’équiprobabilité, la formule classique précédente n’est plus vraie. Ainsi, si on prend un dé pipé ayant les probabilités suivantes des résultats élémentaires :

p 1 = p 3 = p 5 =

p 2 = p 4 = p 6 =

La probabilité de l’événement A =”le résultat est un nombre pair” est alors :

P (A) =

∑^6

n=

δωn (A) = p 2 + p 4 + p 6 =

Card A Card Ω

3. Mesure de comptage On définit sur (N, P(N)) ou (R, P(R)) la mesure :

μ =

∑^ +∞

n=

δn.

On vérifie aisément qu’il s’agit bien d’une mesure. Elle est discrète sur (N, P(N)) et (R, BR) puisque D = N est dénombrable et μ(R \ N) = 0 dans le deuxième cas. Cette mesure est appelée mesure de comptage. Si on raisonne sur (N, P(N)) et si A ∈ P(N),

μ(A) =

n=

δn(A) = nombre d’éléments de A.

Si on raisonne sur (R, BR), la mesure μ(A) de l’événement A est le nombre d’entiers dans A.

4. Mesure de Lebesgue sur (R, BR) On appelle mesure de Lebesgue sur (R, BR) la mesure λ définie par :

λ(]a, b]) = b − a,

où a < b sont des réels. On vérifie l’existence et l’unicité d’une telle mesure et on a λ(]a, b]) = λ([a, b[) = λ([a, b]) = λ(]a, b[).

1.2. Conditionnement 19

Définition 1.1.17 Soit (Ω, A, P ) un espace probabilisé et (E, B) un espace probabilisable. Une application mesurable X de (Ω, A, P ) vers (E, B) est appelée variable aléatoire.

Tous les résultats sur les fonctions mesurables restent donc vrais pour les variables aléatoires. Ainsi, on pourra parler du supremum sur une famille infinie de variables aléatoires et de limite de variables aléatoires. On sera assuré qu’il s’agit encore de variables aléatoires.

Notations. Si (E, B) = (R, BR), l’application X est dite variable aléatoire réelle (v.a.r.) ou unidimensionnelle ou univariée. Si (E, B) = (Rn, BRn^ ), l’application X est dite vecteur aléatoire ou variable aléatoire multidimensionnelle ou multivariée. Si (E, B) est tout, ou une partie, de (Z, BZ), l’application X est dite v.a. discrète.

1.1.5 Loi de probabilité d’une variable aléatoire

Soit X une variable aléatoire de (Ω, A, P ) vers (E, B). Définissons une application PX de B vers [0, 1] par :

∀B ∈ B, PX (B) = P

[

X−^1 (B)

]

= P [{ω : X(ω) ∈ B}].

La définition précédente a bien un sens puisque l’on a X−^1 (B) ∈ A, par mesurabilité de X. On peut donc prendre la probabilité de cet événement.

Définition 1.1.18 PX est appelée probabilité image de P par X ou encore loi de probabilité de la variable aléatoire X. On note PX (B) = P (X ∈ B).

Ainsi, tout événement lié à X est connu dès que l’on connaît la loi PX de X. On oubliera donc souvent dans la suite le détail de l’application ω 7 → X(ω) et on ne se préoccupera pas de ce qu’est exactement (Ω, A, P ). On raisonnera uniquement sur (E, B) et PX. Notons par ailleurs que tous les résultats obtenus pour X et PX seront alors aussi valables pour toute variable aléatoire Y de même loi que X.

1.2 Conditionnement

Supposons que l’on joue au lancer de dé avec un dé dont les faces paires sont de couleur blanche et les faces impaires de couleur noire. Si de loin on

20 Chapitre 1. Introduction au calcul des probabilités

peut seulement distinguer la couleur blanche de la face obtenue, on modifiera naturellement les probabilités des événements. Ainsi on donnera la probabi- lité 1/3 pour chaque face paire et la probabilité 0 pour chaque face impaire, plutôt que l’équirépartition initiale de probabilité 1/6 pour chaque résultat élémentaire. On constate donc que la connaissance de la parité du résultat modifie les probabilités que l’on donne à chaque événement. On dit que l’on raisonne conditionnellement à l’événement “le résultat est pair”.

1.2.1 Probabilité conditionnelle à un événement

Soit (Ω, A, P ) et B un événement de A de probabilité non nulle. Si on sait que l’événement B s’est réalisé, donc que ω ∈ B, pour tout événement A de A on a : ω ∈ A ⇔ ω ∈ A ∩ B. Cela nous conduit à considérer l’application :

μ :

A → R+

A 7 → P (A ∩ B).

L’application μ est une mesure sur A mais n’est en général pas une probabilité car μ(Ω) = P (Ω ∩ B) = P (B)

et n’est donc pas forcément égal à 1. On considère alors l’application

P B^ = μ P (B)

qui, elle, est bien une probabilité sur (Ω, A).

Définition 1.2.1 Pour tout événement B de probabilité non nulle, on ap- pelle probabilité conditionnelle à B, la probabilité sur (Ω, A)

P B^ : A → [0, 1] A 7 → P B^ (A) =

P (A ∩ B)

P (B)

P B^ (A) s’appelle probabilité conditionnelle à B de A (ou encore probabilité de A sachant B). On note aussi

P B^ (A) = P (A/B).

Remarquons que l’on peut aussi voir cette probabilité comme une pro- babilité sur la tribu trace de A sur B.