La régression linéaire simple développe l’étude de la relation entre deux variables quantitatives, amorcée au chapitre 1 et prolongée par la question d’inférence : dans quelle mesure la relation observée dans l’échantillon permet-elle de conclure à une la relation analogue dans la population?
Il est évident que si la droite des moindres carrés est déterminée à partir d’un échantillon, l’intérêt ne porte pas sur l’échantillon mais bien sur un espace plus grand, une population dont l’échantillon serait issu et dans laquelle existerait une « vraie » droite de régression.
Afin d’exprimer ces idées en termes mathématiques, nous allons développer un modèle, le modèle de régression linéaire simple, qui traduit l’idée d’une population à deux variables, liées par une « droite de régression »; et qui comprend un mécanisme de génération de l’échantillon.
Les techniques d’estimation et de tests d’hypothèses pourront alors être développées dans le cadre du modèle. Les coefficients de la droite des moindres carrés seront les estimateurs des coefficients de la droite de régression de la population. Leurs propriétés—leur distribution, leur biais, leur variance—seront déterminées, ce qui permettra d’établir des intervalles de confiance et des tests d’hypothèse.
Avant tout, on testera l’hypothèse que la droite de régression de la population est horizontale. Ce test est fondamental, car si la droite est horizontale, il n’y a pas de dépendance entre les variables et il n’y a plus rien à faire. Rejeter l’hypothèse, c’est conclure que la dépendance observée est bien réelle (dans le sens qu’elle n’est pas fortuite, qu’elle révèle une relation au niveau de la population). Parfois, c’est le seul objectif d’une étude : montrer que deux variables sont liées. Parfois, la pente de la droite a un sens important. On voudra non seulement s’assurer qu’elle n’est pas nulle, mais l’estimer et déterminer un intervalle de confiance. Finalement, l’objectif est souvent d’utiliser l’équation de la droite à des fins de prédiction. On voudra alors déterminer la précision de ces prédictions.