Régression linéaire simple

La régression statistique modélise la relation entre une variable dépendante et une ou plusieurs variables indépendantes. Cette méthode permet de comprendre comment les variables explicatives influencent la variable à prédire et d’effectuer des prédictions sur de nouvelles observations.

1. Énoncé du modèle

a. Variable dépendante et variable indépendante

À gauche, les variables indépendantes (ou variables explicatives) sont les facteurs qui influencent la variable dépendante. Elles servent à expliquer les variations de images/6eq_314.png

. On les note images/6eq_313.png

s’il y a

variables. Si le modèle ne fait intervenir qu’une seule variable indépendante, elle sera alors notée images/6eq_311.png

.

À droite, la variable dépendante (ou variable à expliquer) représente le phénomène que l’on cherche à prédire ou expliquer. Elle dépend des autres variables du modèle. On la note généralement images/6eq_310.png

.

Reprenons le cas de nos chiffres d’affaires quotidiens des boutiques. La variable dépendante est le chiffre d’affaires journalier. Les variables indépendantes peuvent être le nombre de visiteurs, si la journée est un week-end, si la journée est en période de promotion, etc.

Dans ce modèle, le chiffre d’affaires dépend de ces facteurs : c’est pourquoi on l’appelle variable dépendante.

b. Équation de la régression linéaire simple

Modèle

La régression linéaire simple établit une relation linéaire entre une variable dépendante Y et une variable indépendante X. L’équation du modèle s’écrit :

Où :

est l’ordonnée à l’origine (intercept).
est la pente (coefficient de régression).
est le terme d’erreur.
est la variable dépendante du modèle.
est la variable indépendante du modèle.

Dans ce modèle, etsont connus. Seuls les coefficients sont à estimer. Les valeurs estimées seront notées avec un chapeau : (dit alpha chapeau) et pour

Le graphique ci-dessus présente un nuage de points représentant des données réelles...

Régression linéaire multiple

1. Extension du modèle linéaire simple

Équation de la régression linéaire multiple

La régression linéaire multiple étend le modèle de régression simple à plusieurs variables explicatives :

Où

est l’ordonnée à l’origine (intercept), les images/6eq_161.png

sont les coefficients de régression associée à la variable images/6eq_160.png

(

),

est le terme d’erreur, images/6eq_157.png

est la variable dépendante du modèle et images/6eq_156.png

est la ième-variable indépendante du modèle.

Cette équation peut aussi s’écrire en format matriciel :

Dans ce modèle, images/6eq_153.png

et

sont connus. Seuls les coefficients images/6eq_151.png

sont à estimer.

Cette approche permet de modéliser des phénomènes plus complexes en tenant compte de l’effet simultané de plusieurs facteurs. Dans notre exemple du chiffre d’affaires quotidien, on peut expliquer la variable dépendante par le nombre de visiteurs ET le jour de la semaine simultanément. Chaque coefficient images/6eq_150.png

représente l’effet d’une variation unitaire de images/6eq_149.png

sur

, toutes autres variables étant maintenues constantes (concept de « toutes choses égales par ailleurs »).

L’objectif consiste à estimer les coefficients images/6eq_147.png

qui minimisent la somme des carrés des erreurs entre les valeurs observées et prédites. En notation matricielle, la solution s’écrit :

Le terme d’erreur images/6eq_145.png

qui capture toute la variance de images/6eq_144.png

qui n’est pas expliquée par la relation linéaire avec images/6eq_143.png

reste identique à celui vu dans le modèle simple en matière de concept. Mathématiquement, pour chaque observation nous aurons le résidu images/6eq_142.png

:

Hypothèses du modèle de régression linéaire multiple

Les hypothèses sont similaires au cas simple, avec des adaptations pour le contexte multivarié :

Linéarité : la relation entre et les variables explicatives X est linéaire.
Indépendance : les erreurs sont indépendantes entre elles.
Homoscédasticité : la variance des erreurs est constante : pour tout .
Normalité : les erreurs suivent une loi normale multivariée :...

Problèmes courants en régression

Dans cette section, nous allons voir les problèmes et les limites que l’on peut rencontrer quand on fait une régression linéaire.

1. Multicolinéarité

a. Définition

La multicolinéarité est un problème fréquent en régression multiple. Elle survient lorsque deux ou plusieurs variables prédictives (colonnes de images/6eq_82.png

) sont fortement corrélées entre elles.

Ce n’est pas un problème pour la prédiction (le modèle peut rester performant pour prédire images/6eq_81.png

), mais c’est un problème majeur pour l’interprétation et l’inférence. Lorsque deux variables images/6eq_80.png

et

sont fortement corrélées, le modèle ne peut pas déterminer avec certitude l’effet individuel de images/6eq_78.png

sur

tout en maintenant images/6eq_76.png

constant. L’effet est « partagé » entre les deux.

La conséquence directe est que les erreurs standard des coefficients augmentent. Cela gonfle les valeurs images/6eq_75.png

, et le modèle peut conclure à tort qu’une variable n’est pas significative.

b. Détection la multicolinéarité

Une première analyse simple consiste à calculer la matrice de corrélation de vos variables prédictives.

Imaginons que l’on crée un modèle contenant deux variables images/6eq_74.png

et

où

, ce qui nous donne la matrice images/6eq_71.png

et on pose images/6eq_70.png

.

data = pd.DataFrame({ 
    "x1": [1, 2, 3], 
    "x2": [2, 4, 6],   # x2 = 2 * x1 
    "y": [1, 2, 2.9] 
})

Si on fait une régression linéaire multiple, nous obtenons les résultats suivants :

X = data[["x1", "x2"]] 
y = data["y"] 
model = sm.OLS(y, X).fit() 
print(model.summary())

Nous obtenons en bas de résultat le message suivant : « The smallest eigenvalue is 5.36e-31. This might indicate that there are strong multicollinearity problems or that the design matrix is singular. » C’est l’indicateur direct que images/6eq_69.png

et

sont (quasiment) linéairement dépendantes.

Aussi, le nombre de condition (Cond. No.) mesure à quel point la matrice des variables explicatives images/6eq_67.png

est mal conditionnée, c’est-à-dire...

Régression statistique