Processus empirique

En probabilités, le processus empirique est un processus stochastique qui s'exprime en fonction de la proportion d'objets appartenant à un certain ensemble. Ce processus fait intervenir les déviations d'une statistique autour de sa moyenne et sera donc utile dans l'étude de la plupart d'entre elles.

Processus empirique

Formule	$F_{n}(x)={\frac {1}{n}}\sum _{i=1}^{n}I_{(-\infty ,x]}(X_{i})$

Définition

Si $X_{1},\dots ,X_{n}$ sont des variables aléatoires réelles indépendantes et identiquement distribuées (i.i.d.) ayant pour fonction de répartition $F$ alors on définit le processus empirique réel $\alpha _{n}^{X}$ par

$\alpha _{n}^{X}(t)={\sqrt {n}}(F_{n}(t)-F(t))={\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}(\mathbf {1} _{\{X_{i}\leq t\}}-F(t))$

où $F_{n}(t)={\frac {1}{n}}\sum _{i=1}^{n}\mathbf {1} _{\{X_{i}\leq t\}}$ est la fonction de répartition empirique associée à l'échantillon $X_{1},\dots ,X_{n}$. Il est possible de généraliser cette définition au cas où le processus empirique serait indexé par une classe ${\mathcal {F}}$ de fonctions mesurables définies sur un espace ${\mathcal {X}}$ et à valeurs réelles. Si les $X_{i}$ sont i.i.d à valeurs dans un espace ${\mathcal {X}}$ et $f:{\mathcal {X}}\to \mathbb {R}$ est une fonction mesurable, alors on définit $\alpha _{n}^{X}$ par :

$\forall f\in {\mathcal {F}},\quad \alpha _{n}^{X}(f)={\frac {1}{\sqrt {n}}}\sum _{i=1}^{n}(f(X_{i})-\mathbb {E} [f(X_{i})].$

On retombe en particulier sur la première définition quand on prend la classe des fonctions indicatrices ${\mathcal {F}}=\{x\mapsto \mathbf {1} _{\{x\leq t\}}:t\in \mathbb {R} \}$. Il est également possible de définir le processus empirique indexé par des classes de fonctions via la mesure empirique $P_{n}(f)={\frac {1}{n}}\sum _{i=1}f(X_{i})$ et la mesure des $X$, $P(f)=\mathbb {E} [f(X)]$ :

$\forall n\in \mathbb {N} ,\quad \alpha _{n}^{X}={\sqrt {n}}(P_{n}-P).$

Quand le contexte est clair, on peut noter le processus empirique $\alpha _{n}^{X}$ par $\alpha _{n}$.

Convergence

D'après le théorème de Donsker, le processus empirique converge vers un pont brownien dans l'espace de Skorokhod, c'est-à-dire un processus $(G_{t})_{t\in [0,1]}$ gaussien centré dont la fonction de covariance est donnée par

$\forall 0\leq s<t\leq 1,\quad {\text{Cov}}(G_{t},G_{s})=\mathbb {E} [G_{t}G_{s}]=s(1-t).$

Pour généraliser ce résultat dans le cas où l'on travaille avec le processus indexé par une classe de fonctions, on appelle classe de Donsker toute classe de fonctions ${\mathcal {F}}\subset L^{2}({\mathcal {X}},{\mathcal {A}},P)$ de fonctions mesurables à valeurs réelles vérifiant

$\alpha _{n}{\underset {n\to +\infty }{\overset {\mathcal {L}}{\longrightarrow }}}\mathbb {G} \qquad {\text{ dans }}\ell ^{\infty }({\mathcal {F}})$

où $\mathbb {G}$ est un processus de $P$-pont brownien, c'est-à-dire un processus gaussien centré dont la covariance vérifie ici

$\forall f,g\in {\mathcal {F}},\quad ,\mathbb {E} [\mathbb {G} f\mathbb {G} g]=\mathbb {E} [f(X)g(X)]-\mathbb {E} [f(X)]\mathbb {E} [g(X)].$

Le théorème de Donsker revient à dire que la classe des fonctions indicatrices est une classe de Donsker.

Approximation forte

L'approximation forte consiste à créer un espace convenable sur lequel des objets théorique comme la somme partielle de variables aléatoires i.i.d. ou le processus empirique sera proche de sa limite. Il existe plusieurs résultats concernant le processus empirique. Brillinger montre en 1969 qu'on peut créer un espace sur lequel le processus empirique sera proche presque-sûrement du pont brownien avec une borne de $O(n^{-1/4}(\log n)^{1/2}(\log \log n)^{1/4})$.

Quelques années plus tard émerge la meilleure borne proposée par Komlós, Tusnády et Major. Le théorème d'approximation KMT approche le processus empirique du pont brownien avec une borne en $O(n^{-1/2}\log n)$.

Il existe d'autres résultats où on approche le processus empirique par un processus de Kiefer avec une borne en $O(n^{1/3}\log n)^{2/3})$ qui fut amélioré par le théorème d'approximation KMT avec une borne en $O(\log ^{2}n)$. Berthet et Mason montrèrent en 2006 qu'il est également possible d'approcher le processus empirique indexé par une classe de fonctions par le pont brownien indexé par cette même classe si cette dernière vérifie certaines conditions d'entropie.

Transformation du processus empirique

Soient $U_{1},\dots ,U_{n}$ des variables i.i.d. de loi uniforme sur $[0,1]$ et $X$ une variable de fonction de répartition $F$. Alors

$\forall n\in \mathbb {N} ^{*},\quad \alpha _{n}^{U}\quad {\overset {\mathcal {L}}{=}}\quad \alpha _{n}^{X}\circ F^{\leftarrow }(U),$

où $F^{\leftarrow }$ est la fonction de quantile (ou fonction de répartition inverse généralisée) définie par

$\forall u\in ]0,1[,\quad F^{\leftarrow }(u)=\inf\{x:F(x)>u\}.$

De plus, si $F$ est continue alors

$\forall n\in \mathbb {N} ^{*},\quad \alpha _{n}^{X}\quad {\overset {\mathcal {L}}{=}}\quad \alpha _{n}^{U}\circ F(X).$