Caractériser la loi d'une VA à travers les propriétés d'une fonction.
S'il n'y a pas d'ambiguité on ne mentionne pas l'indice : £\varphi = \varphi_X£
²²\left\{\begin{align*} \varphi(t) &= \sum_{k=0}^{+\infty} e^{itx_k} \P(X = x_k) \mbox{ avec } X(\Omega) = \{x_k\} \mbox{ en discret,}\\ \varphi(t) &= \int_{x=-\infty}^{+\infty} e^{itx} f(x) dx \mbox{ en continu.} \end{align*}\right.²²
Remarque : dans le cas continu, ²\varphi² coïncide avec la transformée de Fourier.
²X \sim \cU([\negthinspace[1,n]\negthinspace])², uniforme discrète :
²²\begin{align*} \varphi(t) &= \sum_{k=1}^{n} e^{itk} \P(X = k)\\ &= \frac{1}{n} \sum_{k=1}^{n} (e^{it})^k\\ &= \frac{e^{it}(1 - e^{itn})}{n(1 - e^{it})} \end{align*}²²
²X \sim \cU([a,b])², uniforme continue :
²²\begin{align*} \varphi(t) &= \int_{x=a}^{b} \frac{e^{itx}}{b-a} dx\\ &= \frac{1}{b-a} \int_{x=a}^{b} e^{itx} dx\\ &= \frac{e^{itb}- e^{ita}}{it(b-a)} \end{align*}²²
Convergence la plus faible (impliquée par tous les autres modes de convergence).
Une suite ²(X_n)_{n \geq 1}² de VAr. converge en loi vers ²X² si les fonctions de répartition ²F_{X_n}² convergent ponctuellement vers ²F_X² en tout point de continuité de ²F_X² : ²²\forall t \in \R \, , \, F_X \mbox{ continue en } t \, \Rightarrow \, \underset{n \to +\infty}{\lim} F_{X_n}(t) = F_X(t)²² Notation : ²X_n \overset{\cL}{\longrightarrow} X²
Note : les ²X_n² peuvent être définies sur des espaces probabilisés différents.
²X_n \overset{\cL}{\longrightarrow} X² ssi. pour toute fonction réelle continue bornée ²\psi², ²²\E[\psi(X_n)] \underset{n \to +\infty}{\longrightarrow} \E[\psi(X)]²²
Soit ²(X_n)² une suite de VAr iid. de loi uniforme dans ²\left]\frac{1}{n}, 3 - \frac{1}{n}\right[².
Montrer que ²(X_n)² converge en loi vers une VAr à déterminer.
Pour tout ²n \in \N^*² le support de ²X_n² est inclus dans ²]0,3[², donc ²²\begin{align*} & F_n(x) (= 0) \longrightarrow 0 \mbox{ si }x \leq 0 \mbox{ , et}\\ & F_n(x) (= 1) \longrightarrow 1 \mbox{ si }x \geq 3 \end{align*}²² Soit alors ²x \in ]0,3[². Il existe ²N² dans ²\N^*² tel que ²x² soit dans les intervalles ²\left]\frac{1}{n}, 3 - \frac{1}{n}\right[² pour tout ²n \geq N². Ainsi, ²\forall n \geq N \, F_n(x) = \frac{x - 1/n}{3 - 2/n} \longrightarrow \frac{x}{3}² : on reconnaît la fonction de répartition de ²X \sim \cU(]0,3[)².
La convergence ponctuelle des fonctions caractéristiques équivaut à la convergence en loi : ²²\{ \forall t \in \R \, \varphi_{X_n}(t) \rightarrow \varphi_X(t) \} \, \Leftrightarrow \, \{ \forall t \in \R \, F_{X_n}(t) \rightarrow F_X(t) \}²²
Démonstration du théorème central limite
Démonstration : cf. ce document de Philippe Briand, ou th. 3.3.6 dans
Démonstration : Probability: Theory and Examples (Rick Durrett)
(Voir la page Wikipedia pour un énoncé plus précis)
On considère à partir de maintenant une suite de VAr. ²(X_n)_{n \geq 1}² toutes définies sur le même espace probabilisé.
²X_n² converge en probabilité vers la VAr. ²X² si ²²\forall \varepsilon > 0 \, , \, \lim_{n \to +\infty} \P(|X_n - X| > \varepsilon) = 0²² Notation : ²X_n \overset{\P}{\longrightarrow} X²
Propriété : la convergence en probabilité implique la convergence en loi
Soient ²c > 0², et ²(X_n)_{n \geq 1}² une suite de VA vérifiant ²²\left\{ \begin{align*} \P(X_n = n^c) &= \frac{1}{n}\\ \P(X_n = 0) &= 1 - \frac{1}{n} \end{align*} \right.²² ²\forall \varepsilon \in ]0,1[ \,\, \P(|X_n| > \varepsilon) = \P(X_n = n^c) = \frac{1}{n} \underset{n \to +\infty}{\longrightarrow} 0², donc ²X_n \overset{\P}{\longrightarrow} X = 0²
Remarque : ²\E[X_n] = n^{c-1}² mais ²\E[X] = 0²
Soient ²(X_n)² une suite constante de VA toutes égales à ²X \sim
Ber\left(\frac{1}{2}\right)²,
et ²Y = 1-X²
²²\forall \varepsilon \in ]0,1[ \, , \, \P(|X_n - Y| > \varepsilon) = \P(|2X-1| > \varepsilon) = 1²²
Donc on n'a pas convergence en probabilité.
Cependant, ²X_n² et ²Y² ont même fonction de répartition.
(Exemple vu sur cette page)
Cas particulier : soit ²c \in \R². ²X_n \overset{\cL}{\longrightarrow} c \, \Leftrightarrow \, X_n \overset{\P}{\longrightarrow} c²
²X_n² converge presque sûrement vers la VA ²X² si
²²\P\left( \left\{ \omega \in \Omega \, / \, X_n(\omega) \underset{n \to +\infty}{\longrightarrow} X(\omega) \right\} \right) = 1²²
(²X_n² converge ponctuellement vers ²X² sur un ensemble de probabilité 1)
Notation : ²X_n \overset{p.s.}{\longrightarrow} X²
Propriété : la convergence presque sûre implique la convergence en probabilité
Si ²X_n² converge presque sûrement vers ²X², alors ²²\forall \varepsilon > 0 \,\, \exists A_{\varepsilon} \in \cT \, / \, \P(A) > 1-\varepsilon \mbox{ et } X_n \underset{A}{\overset{\infty}{\longrightarrow}} X \, ,²² où ²\underset{A}{\overset{\infty}{\longrightarrow}}² désigne la convergence uniforme sur ²A².
La convergence presque sûre implique la convergence uniforme sur un ensemble aussi probable que l'on veut.
Démonstration : voir pp. 34-35 dans Measure theory and integration de Michael E. Taylor
²X_n² converge presque sûrement ssi. (CNS)
²X_n \overset{p.s.}{\longrightarrow} X² si (CS) :
1.
²\forall \varepsilon > 0 \, , \, \P(|X_n| > \varepsilon) = \P(A_n)².
Donc la condition s'écrit ²\underset{n \to +\infty}{\lim{}} \P(A_n) = 0²
2.
²\forall \omega \in \Omega \, , \, X_n(\omega) \underset{n \to +\infty}{\longrightarrow} 0 \Leftrightarrow \omega \in \underline{\lim} A_n^c².
Donc la condition s'écrit ²\P(\overline{\lim} A_n) = 0²
La convergence presque sûre implique la convergence en probabilité
Démonstration : ²\P(\sup_{n \geq N} |X_n - X| > \varepsilon) \geq \P(|X_N - X| > \varepsilon)²
La convergence en probabilité implique la convergence presque sûre pour une suite extraite ²(X_{\psi(n)})²
Démonstration : ²\varepsilon_n = \frac{1}{2^n} \, , \, \psi_n \, / \, \P(|X_{\psi_n} - X| > \varepsilon_n) < \varepsilon_n²
Si ²X_n² converge en loi vers ²X², alors il existe un espace probabilisé ²(\Omega, \cT, \P)² et des VAr. ²Y_{(n)}² définies sur cet espace telles que
"La convergence des ²F_n² implique la convergence des réciproques généralisées correspondantes"
Choisir ²(\Omega, \cT, \P) = ([0,1], \cB([0,1]), \mu)², et poser ²Y_{[n]}(\omega) = \inf \{ x \in \R \, / \, F_{[n]}(x) \geq \omega \}²
²\dots² : cf. page Wikipedia
Contre-exemple tiré de cette page
²(\Omega,\cT,\P) = ([0,1], \cB([0,1]), \mu)² avec ²\mu² mesure de Lebesgue
²X_{n,m}(\omega) = \1_{\left[\frac{m-1}{n}, \frac{m}{n} \right]}(\omega)² avec ²m = 1, \dots, n-1²
Considérant l'ordre ²\dots,X_{n,1},\dots, X_{n,n},X_{n+1,1},\dots², ²\forall \varepsilon > 0² : ²²\begin{align*} \P(|X_{n,m}| > \varepsilon) &= \P(X_{n,m} = 1) = \frac{1}{n} \underset{n \to +\infty}{\longrightarrow} &0\\ \P\left(\sup_{n \geq N} |X_{n,m}| > \varepsilon\right) &= \P( \exists n \geq N \, / \, X_{n,m} = 1) = &1 \end{align*}²² Donc ²X_n \overset{\P}{\rightarrow} 0² mais ²X_n \overset{p.s.}{\nrightarrow} 0²
²X_n² converge en moyenne d'ordre ²r \geq 1² vers ²X² si les ²\E[|X_n|^r]² sont finies, et ²²\lim_{n \to +\infty} \E[|X_n - X|^r] = 0²² Notation : ²X_n \overset{\L^r}{\longrightarrow} X²
Propriété : la convergence en moyenne d'ordre ²r² implique la convergence en probabilité
(Car d'après le corollaire de l'inégalité de Markov ²\P(|X_n - X| \geq \varepsilon) \leq \frac{\E[|X_n - X|^r]}{\varepsilon^r}²)
Soit ²c \in \R². Alors ²X_n \overset{\L^2}{\longrightarrow} c² ssi.
Démonstration : ²\E[(X_n - c)^2] = \mbox{Var}(X_n) + (\E[X_n] - c)^2 \, , \, \dots²
Note : associé à la propriété du slide précédent, ce résultat permet de prouver la loi faible des grands nombres
Soit ²(A_n)² une suite d'évènements vérifiant ²\sum_{n} \P(A_n) = +\infty². Alors il suffit de supposer l'indépendance des ²A_n² deux à deux pour conclure ²²\P(\overline{\lim} A_n) = 1²²
(ch.17 §3 dans Calcul des probabilités de D. Foata et A. Fuchs)
²(\Omega, \cT, \P) = ([0,1], \cB([0,1]), \mu)²
²A_n = \left[0, \frac{1}{n}\right]²
²\overline{\lim} A_n = \{0\}², donc ²\P(\overline{\lim} A_n) = 0²
Mais : ²\sum_{n=1}^{+\infty} \P(A_n) = +\infty²
²\Rightarrow² L'hypothèse d'indépendance est essentielle
Soient ²r>0² et ²(X_n)² une suite de VAr. indépendantes telle que
²\P(X_n = n^{1/r}) = \frac{1}{n} \quad \text{et} \quad \P(X_n = 0) = 1-\frac{1}{n}²
²X_n \overset{\P}{\longrightarrow} 0² car ²\P(|X_n| > \varepsilon) \leq \frac{1}{n}² ; cependant :
Soit ²(X_n)² une suite de VAr. avec ²X_n(\Omega) \subseteq \Z² ²²\left\{\begin{align*} \P(X_n = 0) &= 1 - \frac{1}{n^2}\\ \P(X_n = n) &= \P(X_n = -n) = \frac{1}{2 n^2} \end{align*}\right.²²
²\P(|X_n| > \varepsilon) \leq \frac{1}{2n^2}², donc ²X_n \overset{p.s.}{\longrightarrow} 0². Cependant, ²²\E[|X_n^2|] = 0 \times \left( 1 - \frac{1}{n^2} \right) + n^2 \times \frac{1}{n^2} = 1²² Donc on n'a pas convergence ²L^2².
Soient ²X² une VAr. et ²g : \R \rightarrow \R² une fonction continue sur un ensemble de probabilité 1. Alors
Démonstration : voir la page Wikipedia
Application : convergence d'estimateurs statistiques
Soient ²X_1,\dots,X_n² des VAr. iid. admettant un moment d'ordre 2 ²²\overline{X_n} = \frac{1}{n} \sum_{k=1}^{n} X_k \overset{\P}{\longrightarrow} \mu = \E[X_1]²² (Conséquence de l'inégalité de Bienaymé-Tchebyshev)
Soit ²A² un évènement de probabilité théorique ²p², et ²(X_n)² une suite de VAr. iid. de loi de Bernouilli ²\cB(1,p)². La fréquence d'apparition de ²A² après ²n² épreuves est ²F_n(A) = \overline{X_n} = \frac{1}{n} \sum_{k=1}^{n} X_k²
Par application du théorème précédent : ²²F_n(A) \overset{\P}{\longrightarrow} p²²
Soit ²(X_n)² une suite de VAr. iid. d'espérance finie : ²\E[X_1] < +\infty² ²²\overline{X_n} = \frac{1}{n} \sum_{k=1}^{n} X_k \overset{p.s.}{\longrightarrow} \mu²² Preuve : voir références de ce document
Note : équivaut à ²\frac{S_n - n \E[X_1]}{n} \overset{p.s.}{\longrightarrow} 0² avec ²S_n = \sum_{k=1}^{n} X_k²
Par application du théorème précédent, ²²F_n(A) \overset{p.s.}{\longrightarrow} p²²
Soit ²f : [a,b] \rightarrow \R^+² une fonction continue sur un intervalle borné.
Principe : échantillonner ²n² points uniformément sur le rectangle ²[a,b] \times [0, \max f]². La probabilité de ²A² = "tirer un point sous le graphe de ²f²" est proportionnelle à l'intégrale recherchée : ²²[(b-a) \max f] \times F_n(A) \underset{n \to +\infty}{\longrightarrow} \int_{a}^{b} f(t) dt²²
Soit ²(X_n)² une suite de VAr. iid. admettant un moment d'ordre 2 ²²\underset{n \to +\infty}{\lim\sup} \frac{S_n - n \mu}{\sigma \sqrt{n \ln \ln n}} = \sqrt{2} \quad p.s.²² Et, par symétrie, ²\underset{n \to +\infty}{\lim\inf} \ldots = - \sqrt{2} \quad p.s.²
Explication : le facteur de normalisation ²N(n) = \sqrt{n \ln \ln n}² correspond au cas limite où ²²\frac{S_n - n \mu}{\sigma N(n)} \overset{\P}{\longrightarrow} 0 \, \mbox{ et } \, \frac{S_n - n \mu}{\sigma N(n)} \overset{p.s.}{\nrightarrow} 0²² Voir la page Wikipedia et ses références.
Soient ²X_1,\dots,X_n² des VAr. iid. admettant un moment d'ordre 2 ²²\frac{S_n - n \mu}{\sigma \sqrt{n}} \overset{\cL}{\longrightarrow} \cN(0,1)²² Après standardisation, ²S_n² suit une loi normale.
Remarque : si ²X_k \sim \cU([0,1])² , ²S_n² suit la loi Irwin-Hall (à g. ci-dessous)
Posons ²Z_n = \frac{S_n - n \mu}{\sigma \sqrt{n}} = \sum_{k=1}^{n} \frac{Y_k}{\sqrt{n}}² avec ²Y_k = \frac{X_k - \mu}{\sigma}²
On évalue la fonction caractéristique de ²Z_n² : ²²\begin{align*} \varphi_{Z_n}(t) &= \left( \varphi_{Y_1} \left( \frac{t}{\sqrt{n}} \right) \right)^n\\ &= \left( 1 - \frac{t^2}{2 n} + o\left(\frac{t^2}{n}\right) \right)^n \in \C\\ &\underset{n \to +\infty}{\longrightarrow} e^{-t^2/2} \mbox{ (à justifier...)} \end{align*}²² On reconnaît la fonction caractéristique de la loi normale centrée réduite, et conclut grâce au théorème de continuité de Levy.
Note : on cache les difficultés techniques en admettant ce dernier théorème...
Soient ²X_1,\dots,X_n² des VAr. iid. admettant un moment d'ordre 3, et ²F_n² la fonction de répartition de ²Z_n = \frac{S_n - n \mu}{\sigma \sqrt{n}}² ²²|F_n(x) - \Phi(x)| \leq \frac{C \rho}{\sigma^3 \sqrt{n}} \, ,²² avec ²\rho² le moment d'ordre 3 de ²|Z_n|², et ²C² une constante...
Précisions : la meilleure constante ²C² prouvée est légèrement inférieure à 0.5. Une bornée inférieure aux alentours de 0.4 a été montrée par Carl-Gustav Esseen en 1956.
Pour plus d'informations, voir la page Wikipedia et ses références
On note ²X_k² la VA de Bernouilli du gain au ²k^{\mbox{eme}}² tour.
Pour ²n² "grand" on peut effectuer l'approximation
²²Z_n = \frac{S_n - n (p-q)}{\sqrt{n(1 - (p-q)^2)}} \sim \cN(0,1)²²
En particulier ²\P(Z_n \leq 0) \simeq \frac{1}{2}²
On en déduit qu'il y a environ une chance sur deux pour que les pertes cumulées soient supérieures à ²n(q-p)²
Soit ²(X_n)² une suite de VA binomiales ²\cB(n,p_n)² avec ²²\lim_{n \to +\infty} n p_n = \lambda \in \R^+ \, .²² Alors ²X_n² converge vers une loi de Poisson : ²²X_n \overset{\cL}{\longrightarrow} \cP(\lambda)²² Preuve : cf. poly
Soit ²(X_{\lambda})² une VA de loi ²\cP(\lambda)². ²²\frac{X_{\lambda} - \lambda}{\sqrt{\lambda}} \overset{\cL}{\longrightarrow} \cN(0,1)²²
Preuve : posons ²Y_{\lambda} = \frac{X_{\lambda} - \lambda}{\sqrt{\lambda}}².
²²\begin{align*}
\varphi_{Y_{\lambda}}(t) &= e^{-i \sqrt{\lambda} t} \varphi_{X_{\lambda}} (t / \sqrt{\lambda})\\
&= \exp \left( -i \sqrt{\lambda} t + \lambda ( e^{it/\sqrt{\lambda}} - 1 ) \right)\\
&= \exp \left( -i \sqrt{\lambda} t + \lambda \left( 1 + \frac{it}{\sqrt{\lambda}} - \frac{t^2}{2 \lambda} - 1 + o(t^2 / \lambda) \right) \right) \mbox{ (DL)}\\
&\simeq e^{-t^2/2} \mbox{ comme pour } \cN(0,1)
\end{align*}²²
Soit ²(X_n)² une suite de VA binomiales ²\cB(n,p)². ²²\frac{X_n - np}{\sqrt{n p q}} \overset{\cL}{\longrightarrow} \cN(0,1)²²
Preuve : ²X_n² a même loi que ²\sum_{k=1}^{n} Y_k² avec ²Y_k \sim Ber(p)².
Il s'agit de l'application du TCL aux ²Y_k²
Soit ²(X_n)² une suite de VA de loi ²\chi^2(n)². ²²\frac{X_n - n}{\sqrt{2n}} \overset{\cL}{\longrightarrow} \cN(0,1)²²
Preuve : ²X_n² a même loi que ²\sum_{k=1}^{n} Y_k² avec ²Y_k \sim \chi^2(1)².
²\E[Y_k] = 1² et ²\mbox{Var}(Y_k) = 2 \Rightarrow² résultat par application du TCL
²²\begin{align*} \P(X = k) &= \binom{pN}{k} \, \binom{qN}{n-k} \, / \, \binom{N}{n}\\ &= \binom{n}{k} \frac{(pN)!}{(pN-k)!} \frac{(qN)!}{(qN-(n-k))!} \frac{(N-n)!}{N!}\\ &\simeq \binom{n}{k} \sqrt{\frac{pN}{pN-k}} \left(\frac{pN}{e}\right)^{pN} \left(\frac{e}{pN-k}\right)^{pN-k}\\ &\qquad \times \dots \mbox{ (formule de Stirling)}\\ &\simeq \binom{n}{k} \frac{(pN)^{pN}}{(pN-k)^{pN-k}} \frac{(qN)^{qN}}{(qN-(n-k))^{qN-(n-k)}} \frac{(N-n)^{N-n}}{N^N}\\ &\simeq \binom{n}{k} p^k q^{n-k} \mbox{ (utiliser } (1-1/n)^n \rightarrow e^{-1} \mbox{ )} \end{align*}²²
/