L’estimation ponctuelle est le procédé par lequel on détermine un estimateur, c’est-à-dire, une fonction des données de l’échantillon dont la valeur constitue l’estimation d’un paramètre. On définit les caractéristiques d’un estimateur donné : qu’est-ce qui constitue un “bon” estimateur? Ensuite on développe des techniques de recherche d’estimateurs : comment trouver un estimateur?
NOTE: Ce chapitre établit les bases théoriques des méthodes d’estimation de paramètres dont les applications se déploient dans les chapitres suivants. Le lecteur qui trouve que c’est un plongeon plutôt brutal dans une mer d’abstractions peut choisir de se limiter, en un premier temps, aux deux premières sections et à une lecture superficielle du reste, quitte à y revenir après l’étude des chapitres 5 et 6.
Une des principales préoccupations de la statistique consiste à estimer les paramètres d’une population (par exemple, la moyenne des revenus des ménages d’un quartier) à partir des données d’un échantillon. On estime le paramètre par un estimateur, c’est-à-dire, une fonction des données de l’échantillon (par exemple, la moyenne de l’échantillon). La valeur de l’estimateur est une estimation ponctuelle, dans le sens qu’elle ne fournit qu’un nombre, plutôt qu’un intervalle de valeurs plausibles (appelé intervalle de confiance, qui sera discuté au prochain chapitre).
En un premier temps, on s’applique à définir formellement ce qu’est un « bon » estimateur, à établir des critères de qualité. Un estimateur ponctuel étant une variable aléatoire, sa valeur ne sera presque jamais égale au paramètre. Si on tire plusieurs échantillons, l’estimation variera d’une fois à l’autre: elle se dispersera.
On ne peut empêcher que l’estimateur se disperse, mais il faudrait au moins qu’il se disperse “autour du paramètre”. Autrement dit, il ne faudrait pas que l’estimateur ait une tendance systématique soit à surestimer, soit à sous-estimer le paramètre. Une telle tendance est appelé le biais de l’estimateur. Un bon estimateur devrait avoir un biais aussi faible que possible. Quand le biais est nul, on dit que l’estimateur est sans biais.
Cela veut dire que tantôt il prendra une valeur supérieure au paramètre, tantôt inférieure, mais “en moyenne” il sera égal au paramètre. Ce qui ne suffit pas: cela n’empêche pas qu’il puisse prendre des valeurs très éloignées du paramètre, donc de donner des erreurs grossières. Pour que la probabilité d’une erreur grossière soit faible, il faut que la variance de l’estimateur sans biais soit faible. C’est la deuxième propriété que doit satisfaire: une variance faible. Lorsque l’estimateur est biaisé, la variance est remplacée par une autre mesure de dispersion, l’erreur quadratique moyenne.
Toutes ces considérations sont pertinentes une fois qu’un estimateur est proposé. Mais comment proposer un estimateur? L’intuition nous dicte souvent un estimateur (par exemple, on estime la proportion de libéraux dans la population par la proportion de libéraux dans l’échantillon). Mais d’abord, l’intuition n’est pas toujours un bon guide; ensuite l’intuition peut ne rien proposer. Il existe des méthodes qui permettent de découvrir de bons estimateurs. Celles considérées ici sont la méthode des moments et la méthode du maximum de vraisemblance.