Analyse en composantes principales

1. Variance comme mesure de l’information

Pour que l’algorithme détermine quel est le « meilleur » angle de projection, il lui faut un critère mesurable. En statistiques, ce critère est la variance. Une variable qui ne change pas (variance nulle) n’apporte aucune information pour distinguer les individus. À l’inverse, une variable qui disperse fortement les individus est riche en enseignements.

L’ACP cherche à construire de nouveaux axes, appelés composantes principales. Ces axes ne sont pas choisis au hasard. Le premier axe est calculé pour capter la plus grande quantité possible de variance du nuage de points initial. C’est la direction dans laquelle les données sont les plus étalées....

1. Fondements mathématiques

Pour comprendre l’analyse en composantes principales au-delà de sa simple application, il est nécessaire de regarder sous le capot. L’ACP est une méthode d’algèbre linéaire. Elle repose principalement sur une opération centrale : elle décompose la structure de corrélation de vos données pour trouver de nouveaux axes.

a. Matrice de corrélation

Nous avons créé une matrice data_std où toutes les variables ont une moyenne de zéro et un écart-type de un. À partir de cette matrice, l’algorithme calcule d’abord la matrice de corrélation ().

La matrice de corrélation est une matrice carrée, symétrique, où chaque cellule représente le coefficient de corrélation linéaire entre deux variables. Sa diagonale est remplie de 1 (car la corrélation d’une variable avec elle-même est parfaite). Cette matrice encapsule toute la structure d’interdépendance que l’ACP cherche à simplifier.

Si les variables étaient totalement indépendantes, serait une matrice identité (des 1 sur la diagonale, des 0 partout ailleurs), et l’ACP serait inutile. C’est l’existence de corrélations non nulles qui justifie l’application de l’ACP.

b. Obtention des composantes principales

L’ACP cherche à répondre à la question suivante : existe-t-il des combinaisons linéaires de nos variables initiales qui possèdent une variance maximale et qui sont orthogonales (non corrélées entre elles) ?

Pour trouver ces combinaisons, l’algorithme effectue une opération mathématique appelée décomposition en valeurs et vecteurs propres sur la matrice de corrélation . Les vecteurs propres définissent les nouvelles directions géométriques selon lesquelles les données varient le plus, servant ainsi de nouveaux axes de coordonnées indépendants. Les valeurs propres, quant à elles, mesurent la quantité de variance ou l’importance de l’information capturée le long de chacun de ces nouveaux axes.

Cette décomposition est régie par l’équation...

1. Régression sur composantes principales (PCR)

L’ACP est l’outil idéal pour résoudre un problème majeur que nous avons rencontré lors de notre étude de la régression linéaire multiple : la multicolinéarité. La régression sur composantes principales (PCR) combine l’ACP et la régression linéaire pour obtenir des modèles de prédiction plus stables et plus robustes.

Rappelons que la multicolinéarité survient lorsque deux ou plusieurs variables explicatives () du modèle de régression sont fortement corrélées entre elles. Dans notre jeu de données macroéconomique, par exemple, le PIB et le taux d’emploi sont fortement corrélés.

Mathématiquement, lorsque ces variables sont incluses ensemble dans une régression linéaire, cela rend le calcul des coefficients très instable. Le modèle a du mal à déterminer quelle variable est la véritable cause de la variation de la variable cible (). Les coefficients deviennent sensibles à de petits changements dans les données, ce qui réduit la fiabilité et la généralisation du modèle. Les coefficients n’ont plus de sens interprétatif précis.

La PCR contourne élégamment ce problème en utilisant les composantes principales comme nouvelles variables d’entrée. Au lieu d’utiliser les variables brutes (corrélées), on utilise les facteurs (non corrélés).

La méthode se déroule en deux étapes distinctes.

Tout d’abord, on applique l’ACP uniquement aux variables explicatives () pour obtenir la matrice des composantes principales . On choisit uniquement les premières composantes qui capturent...