Loi bêta-binomiale

En théorie des probabilités, la loi bêta-binomiale est une loi de probabilité discrète à support fini, correspondant à un processus de tirages Bernoulli dont la probabilité de succès est aléatoire (suivant une loi bêta). Elle est fréquemment utilisée en inférence bayésienne.

Loi bêta-binomiale
Fonction de masse
Fonction de répartition
Paramètres	$n\in \mathbb {N}$ — nombre d'essais $\alpha >0$ $\beta >0$
Support	$k=\{0,\dots ,n\}$
Fonction de masse	${n \choose k}{\frac {\mathrm {B} (k+\alpha ,n-k+\beta )}{\mathrm {B} (\alpha ,\beta )}}$
Fonction de répartition	$1-{\tfrac {\mathrm {B} (\beta +n-k-1,\alpha +k+1)_{3}F_{2}({\boldsymbol {a}},{\boldsymbol {b}};k)}{\mathrm {B} (\alpha ,\beta )\mathrm {B} (n-k,k+2)(n+1)}}$ où 3F2(a,b,k) est la fonction hypergéométrique généralisée ${\textstyle _{3}F_{2}(1,\alpha +k+1,-n+k+1;k+2;-\beta -n+k+2;1)}$
Espérance	${\frac {n\alpha }{\alpha +\beta }}\!$
Variance	${\frac {n\alpha \beta (\alpha +\beta +n)}{(\alpha +\beta )^{2}(\alpha +\beta +1)}}$
Asymétrie	${\tfrac {(\alpha +\beta +2n)(\beta -\alpha )}{(\alpha +\beta +2)}}{\sqrt {\tfrac {1+\alpha +\beta }{n\alpha \beta (n+\alpha +\beta )}}}$
Kurtosis normalisé	voir description
Fonction génératrice des moments	$_{2}F_{1}(-n,\alpha ;\alpha +\beta ;1-\mathrm {e} ^{t})$ pour $t<\ln(2)$
Fonction caractéristique	$_{2}F_{1}(-n,\alpha ;\alpha +\beta ;1-\mathrm {e} ^{\mathrm {i} t})$ pour $|t|<\ln(2)$

La loi de Bernoulli en est un cas particulier pour le paramètre n = 1. Pour α = β = 1, elle correspond à la loi uniforme discrète sur {0,..,n} . Elle approche également la loi binomiale lorsque les paramètres α et β sont arbitrairement grands. La loi bêta-binomiale est une version unidimensionnelle de la loi de Pólya multivariée, similairement aux lois binomiale et bêta qui sont respectivement des cas spéciaux des lois multinomiale et de Dirichlet.

Obtention de la loi bêta-binomiale

Par exemple, un lancer de pièce est une épreuve de Bernouilli avec probabilité de succès $p=1/2$. Ici on lance $n$ pièces et $X$ est le nombre de faces obtenues.

Soit $X$ une variable aléatoire qui compte le nombre de succès de $n$ épreuves de Bernoulli, chacune ayant une probabilité de succès $p$. La variable $X$ suit donc une loi binomiale dont la fonction de masse est donnée par :

${\begin{aligned}f(X=k|p)&=\operatorname {Bin} (n,p)={n \choose k}p^{k}(1-p)^{n-k}\end{aligned}}$.

Ici, la probabilité de succès $p$ est également une variable aléatoire, qui suit une loi bêta de paramètres α et β. Sa fonction de densité est donnée par :

${\begin{aligned}f(p|\alpha ,\beta )=\operatorname {Beta} (\alpha ,\beta )={\frac {p^{\alpha -1}(1-p)^{\beta -1}}{\operatorname {B} (\alpha ,\beta )}}\end{aligned}}$

La loi bêta-binomiale s'obtient en considérant le couple $(X,p)$ comme une nouvelle variable aléatoire puis en calculant la densité marginale de $X$ (cette densité marginale est une fonction de masse, puisque $X$ est une variable aléatoire suivant une loi discrète).

Par définition, la densité marginale de $X$ s'obtient en intégrant la densité conjointe de $(X,p)$ sur l'espace de probabilité occupé par $p$. Supposons que les deux variables $X$ et $p$ sont indépendantes. Ainsi, leur densité conjointe s'obtient par multiplication :

${\begin{aligned}f(X=k,p)=f(X=k|p)\cdot f(p|\alpha ,\beta )\end{aligned}}$

En intégrant cette densité conjointe selon $p$ sur $[0,1]$ (l'espace sur lequel est définie la densité de la loi bêta), il advient finalement :

${\begin{aligned}f(X=k|\alpha ,\beta )&=\int _{0}^{1}f(X=k,p)\mathrm {d} p\\&=\int _{0}^{1}f(X=k|p)\cdot f(p)\mathrm {d} p\\&={n \choose k}{\frac {1}{\mathrm {B} (\alpha ,\beta )}}\int _{0}^{1}p^{k+\alpha -1}(1-p)^{n-k+\beta -1}\,\mathrm {d} p\\&={n \choose k}{\frac {\mathrm {B} (k+\alpha ,n-k+\beta )}{\mathrm {B} (\alpha ,\beta )}}.\end{aligned}}$

En remplaçant la fonction bêta par sa définition $\mathrm {B} (\alpha ,\beta )={\frac {\Gamma (\alpha )\,\Gamma (\beta )}{\Gamma (\alpha +\beta )}}$ où Γ est la fonction gamma, on obtient :

${\begin{aligned}f(X=k|\alpha ,\beta )={\frac {\Gamma (n+1)}{\Gamma (k+1)\Gamma (n-k+1)}}{\frac {\Gamma (\alpha +k)\Gamma (n+\beta -k)}{\Gamma (\alpha +\beta +n)}}{\frac {\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}}\end{aligned}}$

Dans ce contexte, la loi bêta-binomiale apparaît souvent en inférence bayésienne : la loi bêta-binomiale est la loi prédictive d'une variable aléatoire binomiale avec une probabilité de succès donnée par une loi bêta.

Utilisation de la loi bêta-binomiale dans un modèle d'urnes

La loi bêta-binomiale peut également être représentée par un modèle d'urnes, pour des paramètres α et β entiers positifs. Plus précisément, on considère une urne contenant α boules rouges et β boules noires, on effectue alors des tirages aléatoires. Si une boule rouge est tirée, alors deux boules rouges sont replacées dans l'urne (elle-même plus une autre). De la même manière, si une boule noire est tirée, elle est remise avec une autre boule noire dans l'urne. Si on répète cette opération n fois, alors la probabilité de tirer k boules rouges suit une loi bêta-binomiale de paramètres n, α et β.

Il est à noter que si après les tirages on replace une unique boule, alors la loi est binomiale, et si les tirages sont effectués sans remise, alors la loi est hypergéométrique.

Moments et propriétés

Les trois premiers moments sont

${\begin{aligned}\mu _{1}&={\frac {n\alpha }{\alpha +\beta }}\\\mu _{2}&={\frac {n\alpha [n(1+\alpha )+\beta ]}{(\alpha +\beta )(1+\alpha +\beta )}}\\\mu _{3}&={\frac {n\alpha [n^{2}(1+\alpha )(2+\alpha )+3n(1+\alpha )\beta +\beta (\beta -\alpha )]}{(\alpha +\beta )(1+\alpha +\beta )(2+\alpha +\beta )}}\end{aligned}}$

et le kurtosis est

${\begin{aligned}\gamma _{2}&={\frac {(\alpha +\beta )^{2}(1+\alpha +\beta )}{n\alpha \beta (\alpha +\beta +2)(\alpha +\beta +3)(\alpha +\beta +n)}}\\&\times \left[(\alpha +\beta )(\alpha +\beta -1+6n)+3\alpha \beta (n-2)+6n^{2}-{\frac {3\alpha \beta n(6-n)}{\alpha +\beta }}-{\frac {18\alpha \beta n^{2}}{(\alpha +\beta )^{2}}}\right].\end{aligned}}$

Si on pose ${\textstyle \mathrm {p} ={\frac {\alpha }{\alpha +\beta }}}$, on remarque que la moyenne peut être écrite sous la forme ${\textstyle \mu ={\frac {n\alpha }{\alpha +\beta }}=n\mathrm {p} }$ et la variance par

$\sigma ^{2}={\frac {n\alpha \beta (\alpha +\beta +n)}{(\alpha +\beta )^{2}(\alpha +\beta +1)}}=n\pi (1-\pi ){\frac {\alpha +\beta +n}{\alpha +\beta +1}}=n\mathrm {p} (1-\mathrm {p} )[1+(n-1)\rho ]$

où ${\textstyle \rho ={\frac {1}{\alpha +\beta +1}}}$ est la corrélation deux à deux entre les n tirages de Bernoulli et est appelé le paramètre de surdispersion.

Estimations ponctuelles

Méthode des moments

L'estimation par la méthode des moments peut être obtenue par l'utilisation des premier et deuxième moments de la loi bêta-binomiale, c'est-à-dire

${\begin{aligned}\mu _{1}&={\frac {n\alpha }{\alpha +\beta }}\\\mu _{2}&={\frac {n\alpha [n(1+\alpha )+\beta ]}{(\alpha +\beta )(1+\alpha +\beta )}}\end{aligned}}$

et en les considérant égaux aux moments empiriques

${\begin{aligned}{\hat {\mu }}_{1}&=m_{1}\\{\hat {\mu }}_{2}&=m_{2}.\end{aligned}}$

En résolvant en α et en β, on obtient

${\begin{aligned}{\hat {\alpha }}&={\frac {nm_{1}-m_{2}}{n({\frac {m_{2}}{m_{1}}}-m_{1}-1)+m_{1}}}\\{\hat {\beta }}&={\frac {(n-m_{1})(n-{\frac {m_{2}}{m_{1}}})}{n({\frac {m_{2}}{m_{1}}}-m_{1}-1)+m_{1}}}.\end{aligned}}$

Maximum de vraisemblance

Alors que la méthode du maximum de vraisemblance est inutilisable, sachant que la densité de probabilité est la densité d'un couple de fonction (fonction gamma et/ou fonction bêta), elles peuvent être facilement calculée via une optimisation numérique directe. Les estimées du maximum de vraisemblance à partir des données empiriques peuvent être calculées en utilisant des méthodes générales adaptées aux lois de Pólya multinomiales décrites dans (Minka 2003).

Exemple

Les données suivantes donnent le nombre de garçons parmi les 12 premiers enfants de familles de 13 enfants, pour 6115 familles prises dans des données d’hôpital en Saxe au XIX^e siècle (Sokal et Rohlf, p. 59 de Lindsey). Le 13^e enfant est ignoré pour considérer le fait non aléatoire que des familles s'arrêtent quand elles obtiennent le genre attendu.

Garçons	0	1	2	3	4	5	6	7	8	9	10	11	12
Familles	3	24	104	286	670	1 033	1 343	1 112	829	478	181	45	7

Les deux premiers moments empiriques sont

${\begin{aligned}m_{1}&=6{,}23\\m_{2}&=42{,}31\\n&=12\end{aligned}}$

et ainsi les estimées par la méthode des moments sont

${\begin{aligned}{\hat {\alpha }}&=34{,}135\,0\\{\hat {\beta }}&=31{,}608\,5.\end{aligned}}$

Les estimées par le maximum de vraisemblance peuvent être trouvées numériquement

${\begin{aligned}{\hat {\alpha }}_{\mathrm {mle} }&=34{,}095\,58\\{\hat {\beta }}_{\mathrm {mle} }&=31{,}571\,5\end{aligned}}$

et le maximum de log-vraisemblance est

$\log {\mathcal {L}}=-12\,492{,}9$

Références

* Minka, Thomas P. (2003). Estimating a Dirichlet distribution. Rapport technique de Microsoft.

Liens externes

• (en) Utilisation de la loi bêta-binomiale pour vérifier les performances en identification biométrique
• Fastfit contient des codes Matlab pour adapter la loi bêta-binomiale (dans le contexte d'une loi de Pólya bi-dmensionelle) aux données.