Cours – Estimation statistique
Chapitre 10
ECS (2e année) — Chapitre 10. Estimateurs sans biais, risque quadratique, intervalles de confiance.
Ce chapitre a été réalisé conformément au programme marocain de mathématiques de la filière ECS.
1 Notion d’estimateur
1.1 Définition
Définition 1.1 — (Estimateur)
Soit (X_1, \ldots, X_n) un n-échantillon de variables aléatoires indépendantes de même loi dépendant d’un paramètre \theta. Un estimateur de \theta est une statistique T_n = g(X_1, \ldots, X_n).
Exemple 1.1 — (Moyenne empirique)
\overline{X}_n = \frac{1}{n}\sum_{k=1}^n X_k est un estimateur naturel de E(X_1).
Exemple 1.2 — (Variance empirique)
S_n^2 = \frac{1}{n}\sum_{k=1}^n (X_k - \overline{X}_n)^2 est un estimateur naturel de V(X_1).
2 Biais
Définition 2.1 — (Biais)
Le biais de T_n comme estimateur de \theta est : b_n(\theta) = E(T_n) - \theta
Définition 2.2 — (Estimateur sans biais)
T_n est sans biais si E(T_n) = \theta pour tout \theta.
Proposition 2.1 — (Exemples)
- \overline{X}_n est un estimateur sans biais de E(X_1).
- S_n^2 = \frac{1}{n}\sum (X_k - \overline{X}_n)^2 est un estimateur biaisé de V(X_1), avec : E(S_n^2) = \frac{n-1}{n} V(X_1)
- s_n^2 = \frac{1}{n-1}\sum (X_k - \overline{X}_n)^2 est un estimateur sans biais de V(X_1).
3 Risque quadratique
Définition 3.1 — (Risque quadratique)
Le risque quadratique de T_n comme estimateur de \theta est : R_n(\theta) = E((T_n - \theta)^2)
Proposition 3.1 — (Décomposition)
R_n(\theta) = V(T_n) + (b_n(\theta))^2
Définition 3.2 — (Convergence)
T_n est un estimateur convergent de \theta si T_n \xrightarrow{P} \theta.
Proposition 3.2
Si R_n(\theta) \to 0, alors T_n est convergent vers \theta.
4 Intervalle de confiance
4.1 Définition
Définition 4.1 — (Intervalle de confiance)
Un intervalle de confiance de niveau 1 - \alpha pour \theta est un intervalle aléatoire [T_n^-, T_n^+] tel que : P(T_n^- \leq \theta \leq T_n^+) \geq 1 - \alpha
4.2 Intervalle de confiance pour une moyenne
Proposition 4.1 — (Cas gaussien)
Soit (X_1, \ldots, X_n) un n-échantillon de variables indépendantes suivant \mathcal{N}(\mu, \sigma^2) avec \sigma connu. Alors : \left[\overline{X}_n - \frac{\sigma z_{\alpha/2}}{\sqrt{n}}, \overline{X}_n + \frac{\sigma z_{\alpha/2}}{\sqrt{n}}\right] est un intervalle de confiance de niveau 1 - \alpha pour \mu, où z_{\alpha/2} est le quantile de la loi normale centrée réduite : P(|Z| \leq z_{\alpha/2}) = 1 - \alpha \quad \text{avec} \quad Z \hookrightarrow \mathcal{N}(0,1)
Exemple 4.1 — (Valeurs usuelles)
- Pour 1 - \alpha = 0{,}95 : z_{\alpha/2} \approx 1{,}96.
- Pour 1 - \alpha = 0{,}99 : z_{\alpha/2} \approx 2{,}58.
4.3 Intervalle de confiance pour une proportion
Proposition 4.2 — (Cas binomial)
Soit X \hookrightarrow \mathcal{B}(n, p) avec n grand. Alors : \left[\frac{X}{n} - z_{\alpha/2}\sqrt{\frac{(X/n)(1 - X/n)}{n}}, \frac{X}{n} + z_{\alpha/2}\sqrt{\frac{(X/n)(1 - X/n)}{n}}\right] est un intervalle de confiance approché de niveau 1 - \alpha pour p.
5 Exercices
Exercice 5.1
Soit (X_1, \ldots, X_n) un n-échantillon de variables indépendantes suivant \mathcal{E}(\lambda).
- Montrer que \overline{X}_n est un estimateur sans biais de 1/\lambda.
- Calculer le risque quadratique de \overline{X}_n comme estimateur de 1/\lambda.
Exercice 5.2
Soit (X_1, \ldots, X_n) un n-échantillon de variables indépendantes de moyenne \mu et de variance \sigma^2. Montrer que \overline{X}_n est un estimateur sans biais et convergent de \mu.
Exercice 5.3
Soit (X_1, \ldots, X_n) un n-échantillon de variables indépendantes suivant \mathcal{N}(\mu, \sigma^2) avec \sigma = 2 connu. On observe \overline{X}_{100} = 10.
- Déterminer un intervalle de confiance de niveau 95\% pour \mu.
- Déterminer un intervalle de confiance de niveau 99\% pour \mu.
Exercice 5.4
Soit X \hookrightarrow \mathcal{B}(100, p). On observe X = 45. Déterminer un intervalle de confiance de niveau 95\% pour p.
Exercice 5.5
Montrer que s_n^2 = \frac{1}{n-1}\sum_{k=1}^n (X_k - \overline{X}_n)^2 est un estimateur sans biais de V(X_1).
Exercice 5.6
Soit T_n un estimateur sans biais de \theta avec V(T_n) \to 0. Montrer que T_n est convergent vers \theta.
Exercice 5.7
Soit (X_1, \ldots, X_n) un n-échantillon de variables indépendantes suivant \mathcal{U}([0, \theta]).
- Montrer que \overline{X}_n est un estimateur sans biais de \theta/2.
- En déduire un estimateur sans biais de \theta.
Exercice 5.8
Soit (X_1, \ldots, X_n) un n-échantillon de variables indépendantes de moyenne \mu et de variance \sigma^2. Calculer E(S_n^2) où S_n^2 = \frac{1}{n}\sum (X_k - \overline{X}_n)^2.