Nous invitons le lecteur, s'il ne l'a pas déjà fait à lire ou à relire la page consacrée à la corrélation en statistique descriptive.
En outre le lecteur est supposé connaître le contenu de la page consacrée aux probabilités conditionnelles.
Dans tout ce qui suit (Ω,,P) désigne un espace probabilisé et X et Y seront des variables aléatoires sur cet espace et à valeurs réelles.

Evènement lié à une v.a.

Nous désignerons par 'évènement lié à X' tout évènement du type { ω ∈ Ω | X(ω) ∈ I} où I est un intervalle quelconque.
Si nous reprenons l'exemple du tir aléatoire avec probabilité uniforme dans un disque, si I=[a,b] et si X est la v.a. 'distance du tir au centre du disque', l'évènement géométrique lié à X et à I correspond à un anneau.

Evènement conditionné par une v.a.

Si E est un évènement quelconque de Ω et si A est un évènement lié à X et à l'intervalle I de probabilité non nulle, 'la probabilité conditionnelle de E sachant que X appartient à I' est le nombre P(E|A)=P(E∩A)/P(A) que nous noterons encore P(E|X∈I).
Dans le cas où I=[a,a] nous aurons donc une notation simplifiée du type P(E|X=a).
A priori la probabilité ci-dessus a un sens si et seulement si P(X=a)≠ 0, mais pour une probabilité à densité il est encore possible, dans certains cas, de définir P(E|X=a) même quand l'évènement X=a est de probabilité nulle.
Soient en effet deux nombres positifs ε et η, on a :
P { E X ] x ε , x + η ] } = P { E X ] x ε , x + η ] } F ( x + η ) F ( x ε )
où F est la fonction de répartition de X.
Si dans l'égalité ci-dessus, la limite du membre de droite existe quand ε et η tendent vers 0, cette limite sera appelée "probabilité conditionnelle de E sachant que X=x", on la note P(E|X=x).
NB: La limite est ici la limite d'une fonction de deux variables. Ces fonctions n'ont pas été étudiées dans le module d'analyse de ce cours. On peut facilement intuiter la définition.
Nous allons traiter, à tire d'exemple, un cas concret simple.
On considère un tir aléatoire uniforme dans un cercle de centre (0,0) et de rayon 1.
Un événement élémentaire se confond donc avec un point M de ce cercle.
Soit E l’événement OM≤1/2, de sorte que P(E)=1/4.
Soit A le point de coordonnées (1,0) et soit θ la mesure de l'angle ∠(OA,OM). X désigne la variable aléatoire X: →X(M)=θ.
On cherche à évaluer P(E|X=π/2).

On a P({E∩X∈]π/2-ε,π/2+η]})=(ε+η)/8.
On a P({X∈]π/2-ε,π/2+η]})=(ε+η)/2.
Donc P(E|X=π/2)=1/4.
Ici le rapport des probabilités étant constant il n'y a pas de limite véritable à calculer.
On remarque que l'on a P(E)=P(E|X=π/2) et que plus généralement P(E)=P(E|X=α) et encore P(E)=P(E|α<X≤β).
E est donc indépendant de tout événement lié à X.
C'est ce qui justifie la définition qui suit.
Un événement E est dit 'indépendant de X' s'il est indépendant de tout événement lié à X.
Cela revient donc à dire que P(E|X∈I)=P(E) pour tout intervalle I.

Extension au cas des variables à densité du théorème des probabilités totales

Soit E un événement et X une variable aléatoire absolument continue de densité f.
On suppose que pour tout x P(E|X=x) existe au sens précédent.
Dans ces conditions :
P ( E ) = + P ( E X = x ) f ( x ) dx
Indications sur la démonstration :
Soit (xi) 1≤i≤n une suite strictement croissante de réels.
Si toutes les valeurs possibles de X sont entre x1 et xn, le théorème des probabilités totales classique donne:
P ( E ) = i = 1 n 1 P ( E X ] x i , x i + 1 ] ) ( F ( x i + 1 ) F ( x i ) )
Ainsi, dans le cas particulier où X prend toutes ses valeurs dans un intervalle compact, le théorème sera obtenu par passage à la limite en prenant des subdivisions de cet intervalle de pas de plus en plus petit et tendant vers 0.
Pour le cas général et si X est positive on construira une suite monotone de v.a. possédant la propriété ci-dessus et convergeant vers X.
Le cas général s'obtiendra par linéarité.

Variables aléatoires indépendantes

On dit que X et Y sont 'indépendantes' si tout événement lié à X est indépendant de tout événement lié à Y.
C'est à dire, compte tenu de la définition de l'indépendance des évènements, si P((X∈I)∧(Y∈J))=P(X∈I)×P(Y∈J).

Exemples

  1. Soient A et B deux événements indépendants, X et Y leurs fonctions caractéristiques respectives, alors X et Y sont indépendantes.
  2. On considère l’événement "tirer 13 cartes (une main) dans un jeu de bridge".
    Soit X la variable "Nombre de points d'honneurs dans la main".
    Soit Y la variable "Nombre de couleurs distinctes dans la main (entre 0 et 4).
    Alors X et Y ne sont pas indépendantes, en effet P(X=16)≠0 et P(X=16|Y=1)=0.
    On pourra également le vérifier empiriquement (voir cet exercice)
  3. Dans le cas d'un tir aléatoire uniforme dans un disque de centre O et de rayon 1.
    Soit la variable X: M → "∠(OA,OM)" (A(0,1)).
    Soit la variable Y:M → "Distance OM"
    X et Y sont indépendantes Voici une application javascript qui vous permet de vérifier expérimentalement ce fait.
    Les nombres notés P(..) sont en fait les fréquences statistiques.
    Mode d'emploi:
    Fixer D'ABORD a et b avec les curseurs en haut à gauche ; on s'intéresse à l’événement a<OM<b
    Fixer ENSUITE s et t avec les curseurs en haut à droite ; on s'intéresse à l’événement s<θ<t
    Appuyer ENFIN à répétition sur le bouton '+100' pour provoquer des séries de 100 tirs aléatoires.
    Les fréquences des divers événements sont affichées à chaque fois avec cumuls.
    Appuyer sur 'Recommencer' pour tout réinitialiser.




  4. Dans le cas d'un tir uniforme dans un carré.
    Soit X la variable M(x,y) → x.
    Soit Y la variable M(x,y) → y
    Alors X et Y sont indépendantes

Cas des variables ne prenant qu'un nombre fini de valeurs

Si X ne prend que les valeurs {x1, .... ,xm}.
et que Y ne prend que les valeurs {y1, .... ,ym}.
l'indépendance de X et Y implique en particulier que pour tout couple (i,j) ∈ [1,m]×[1,n], on a:
P(X=xi ∧ Y=yj)=P(X=xi)×P(Y=yj).
Réciproquement cette condition est suffisante dans la mesure où si I est un intervalle :
P X I = i P X = x i La sommation étant étendue à tous les indices i pour lesquels xi∈I, la même chose valant pour la variable Y et un autre intervalle J. On peut donc, dans ce cas très simple établir l'indépendance au moyen d'une table reflétant la loi du couple (X,Y) et les lois de X et Y dites lois 'marginales'.
Voir par exemple cet exercice.

Propriétés des variables indépendantes

Espérance

Concernant les espérances de deux v.a. indépendantes, nous avons le résultat suivant :
Soient X et Y deux variables indépendantes définies sur le même espace probabilisé. on suppose que X et Y ont chacune une espérance mathématique.
Dans ce cas il en est de même de la variable aléatoire produit XY et E(XY)=E(X)E(Y).
NB: La réciproque est fausse (voir contre-exemple en statistiques)

Cas où Ω est un univers fini
X\Y
y1
y2
...
yk
Sommes
des lignes
x1
r11
r12
...
r1k
p1
x2
r21
r22
...
r2k
p2
...
...
...
...
...
...
xh
rh1
rh2

rhk
ph
Sommes
des colonnes
q1
q2
...
qk
1
Notations utilisées ici : Nous avons alors les relations suivantes :
Avec ces notations et ces relations :
E ( XY ) = 1 i h , 1 j k r ij x i y j
E ( XY ) = i , j p i q j x i y j
E ( XY ) = i j p i q j x i y j = i p i x i j q j y j = i p i x i E ( Y ) = E ( Y ) i p i x i = E ( Y ) E ( X )
Cas où Ω est un univers dénombrable
On commence par supposer que X et Y sont positives et on raisonne comme ci-dessus les sommes finies étant remplacées par des séries à termes positifs.
Il suffit alors d'appliquer les résultats sur l'associativité des séries doubles à termes positifs.
Si X et Y ne sont pas positives on peut écrire X =X+-X- avec X+=Sup(X,0) et X-=Sup(-X,0)où X+ et X- sont positives.
Idem pour Y=Y+-Y-
ON a alors E(XY)=E((X+-X-)(Y+-Y-))
Par linéarité de l'espérance E(XY)=E(X+Y+)-E(X+Y-)-E(X-Y+)+E(X-Y-).
Les 4 v.a. X+,X-,Y+,Y- étant toutes positives on applique le résultat précédent.
E(XY)=E(X+)E(Y+)-E(X+)E(Y-)-E(X-)E(Y+)+E(X-)E(Y-)
E(XY)=E(X+)(E(Y+)-E(Y-))-E(X-)(E(Y+)-E(Y-))
A nouveau par linéarité
E(XY)=E(X+)E(Y)-E(X-)E(Y)=(E(X+)-E(X-))E(Y)=E(X)E(Y)
Autres cas où Ω a au moins la puissance du continu
Examinons tout d'abord le cas où X ne prend qu'un nombre fini de valeurs x1,x2, ..., xh et Y ne prend qu'un nombre fini de valeurs y1,y2, ...,yk. Nous sommes donc dans le cas de fonctions 'étagées'.
Il résulte de la définition que les évènements (Ai) 1≤i≤h et(Bj) 1≤j≤k sont tous deux à deux incompatibles et si on pose pi=P(Ai), qj=P(Bj), on a P(Ai∩Bj)=piqj.
En outre E ( X ) = i = 1 h x i p i et E ( Y ) = j = 1 k y j q j
En outre si on pose rij=P((X=xi)∧(Y=yj) on a rij=piqj pour tous les couples (i,j).
De sorte que la démonstration est tout à fait identique à celle du premier cas (Ω univers fini).
E ( XY ) = 1 i h , 1 j k r ij x i y j
E ( XY ) = i , j p i q j x i y j
E ( XY ) = i j p i q j x i y j = i p i x i j q j y j = i p i x i E ( Y ) = E ( Y ) i p i x i = E ( Y ) E ( X )
Nous utilisons maintenant un résultat de théorie de l'intégration (convergence dominée) qui dit que pour toute v.a. X définie sur Ω, positive et ayant une espérance on peut trouver une suite croissante de fonctions étagées convergeant verx X et dont les intégrales convergent vers l'intégrale de X.
En substance ce résultat ressemble un peu dans son esprit à l'approximation des fonctions continues sur un intervalle compact par des fonctions en escalier.
Le résultat vaut donc pour toutes les v.a. positives.
Par la suite on passe du cas positif au cas général par linéarité comme précédemment.

Variance

Soient X et Y deux variables indépendantes définies sur le même espace probabilisé. on suppose que X et Y ont chacune une variance.
Dans ce cas il en est de même de la variable aléatoire somme X+Y et v(X+Y)=v(X)+v(Y).
En effet,
v ( X + Y ) = E ( ( X + Y ) 2 ) E ( X + Y ) 2 = E ( X 2 + 2 XY + Y 2 ) ( E ( X ) + E ( Y ) ) 2 = E ( X 2 ) + 2 E ( XY ) + E ( Y 2 ) E ( X ) 2 2 E ( X ) E ( Y ) E ( Y ) 2 = E ( X 2 ) E ( X ) 2 + E ( Y 2 ) E ( Y ) 2 = v ( X ) + v ( Y )
NB: La réciproque est fausse

Famille de variables indépendantes

La notion d'indépendance de deux v.a. réelles se généralise ainsi:
Soient X1, ..., Xn n variables aléatoires réelles. On dit qu'elles sont indépendantes si ∀ p ≤n et pour tout p-uple d'intervalles (I1, .... , Ip), et tout p-uple d'indices (i1, ... , ip) de l'intervalle [1,n], on a :
P(Xi1∈I1∧ Xi2∈I2 ∧...∧Xip∈Ip)= P(Xi1∈I1)×P(Xi2∈I2)×......×P(Xip∈Ip)
Comme dans le cas des familles d’événements indépendants, l'indépendance d'une famille de v.a. implique leur indépendance deux à deux, la réciproque étant fausse. il suffit pour s'en convaincre de prendre les fonctions caractéristiques d'une famille d'évènements deux à deux indépendants et non globalement indépendante. un tel exemple est donné ici. Voir également cet exercice.

Covariance

La covariance de deux variables aléatoires X et Y est définie par analogie avec les caractères en statistiques au moyen des espérances.
Cov(X,Y)=E((X-E(X))(Y-E(Y))=E(XY)-E(X)E(Y).
Il résulte de cette définition et de ce qui précède que :
X et Y indépendantes ⇒Cov(X,Y)=0.