Régression des moindres carrés partiels

La régression des moindres carrés partiels a été inventée en 1983 par Svante Wold et son père Herman Wold ; on utilise fréquemment l'abréviation anglaise régression PLS (« Partial Least Squares regression » et/ou « Projection to Latent Structure »). La régression PLS maximise la variance des prédicteurs (X_i) = X et maximise la corrélation entre X et la variable à expliquer Y. Cet algorithme emprunte sa démarche à la fois à l'analyse en composantes principales (ACP) et à la régression. Plus précisément, la régression PLS cherche des composantes, appelées variables latentes, liées à X et à Y, servant à exprimer la régression de Y sur ces variables et finalement de Y sur X.

Régression des moindres carrés partiels

Type	Méthode statistique (d)
Inventeur	Herman Wold

Historique

En 1966, Herman Wold propose un algorithme nommé tout d'abord NILES (« Nonlinear estimation by Iterative LEast Squares »), puis NIPALS (« Nonlinear estimation by Iterative PArtial Least Squares ») pour l'analyse en composantes principales.

En 1975 il présente l'approche PLS, pour analyser les données exprimées en J blocs de variables sur les mêmes individus.

En 1983, Svante Wold (fils d'Herman Wold) et Harald Martens combinent NIPALS et l'approche PLS pour les adapter à la régression dans le cas où le nombre de variables est très supérieur au nombre d'observations (et où une forte multicollinearité est observée).

En 1989, Svante Wold, Nouna Kettaneh-Wold, et Bert Skagerberg présentèrent pour la première fois la régression PLS non linéaire.

En 1990 M. Stone et R. J. Brooks proposent une méthode paramétrique permettant d'employer la méthode PLS pour la régression linéaire multiple, la PLS et la régression sur composantes principales.

Régression PLS linéaire

Modèle

fig.01 Approche PLS : réseau de causalité entre quatre groupes de variables (d'après M.Tenenhaus)

Le modèle de l'approche PLS s'applique sur des blocs de variables continues appelées variables manifestes, chacun de ces blocs sont des observations effectuées sur les mêmes individus. On pense dans ce modèle que chaque bloc de variables peut être résumé par une variable latente. Les variables manifestes peuvent engendrer les variables latentes, elles sont appelées alors variables manifestes formatives, ou bien elles peuvent être engendrées par les variables latentes auquel cas elles sont dénommées variables manifestes réflectives. Les variables latentes dites endogènes sont expliquées par les autres variables latentes, les variables latentes explicatives sont dénommées exogènes.

Comme les régressions linéaires, la régression PLS prend pour hypothèse le modèle (1)

$\mathrm {Y} =\mathrm {X} \mathrm {B} +\varepsilon$

On recherche deux séries de matrices T et U de « scores » (cotes), P et Q de « loadings » (charges) tels que

${\begin{aligned}\mathrm {X} &=\mathrm {T} \mathrm {P} '+\mathrm {E} \\\mathrm {Y} &=\mathrm {U} \mathrm {Q} '+\mathrm {F} \\\mathrm {T} &=\mathrm {X} \mathrm {W} ^{*}{\text{,}}\end{aligned}}$

D'autre part, les cotes de X sont de bons prédicteurs de Y, ce qui s'écrit (4)

${\begin{aligned}\mathrm {Y} &=\mathrm {T} \mathrm {Q} '+\mathrm {G} {\text{,}}\end{aligned}}$

où

• X est une matrice n×m de prédicteurs,
• Y est une matrice n×p de variables réponses,
• T et U sont des matrices n×l de cotes, composantes ou facteurs,
• P et Q sont les matrices m×l et p×l des charges,
• et les matrices E et F sont les termes d'erreur, présumés être i.i.d. normaux.

S. Wold et coll. expliquent ainsi les différentes matrices de la régression PLS :

Les matrices de cotes T multipliées par les matrices de charges P' sont un bon résumé de X garantissant que les termes de résidus E soient faibles. De même U et Q' sont de bons résumés de Y, minimisant F. Les cotes de X sont aussi de bons prédicteurs de Y (voir équ.(4) ci-dessus).

Les résidus G expriment l'écart entre l'observation et le modèle. On retrouve le modèle de régression multivarié (1)

${\begin{aligned}\mathrm {Y} &=\mathrm {X} \mathrm {W} ^{*}\mathrm {Q} '+\mathrm {F} \\{\text{où }}\mathrm {B} &=\mathrm {W} ^{*}\mathrm {Q} '{\text{,}}\end{aligned}}$

Algorithme

fig.02 : Algorithme général de la régression PLS d'après Svante Wold et coll.

L'algorithme PLS, inspiré de l'approche PLS et de NIPALS, est itératif. Chaque étape de l'itération produit une composante.

L'algorithme classique de la régression PLS multivariée (PLS2) est défini ci-dessous :

Si $a\leqslant \mathrm {rang} (\mathrm {X} )$

Étape1 – $\mathrm {X} _{0}\longleftarrow \mathrm {X}$, $\mathrm {Y} _{0}\longleftarrow \mathrm {Y}$

Étape2 – ${\text{pour }}h=1,2,\dots ,a$

Étape2.1 – $u_{h}\longleftarrow \mathrm {Y} _{h-1}[,1]$

Étape2.2 – répéter jusqu'à convergence de $w_{h}$

Étape2.2.1 – $w_{h}\longleftarrow \mathrm {X} '_{h-1}u_{h}/u'_{h}u_{h}$

Étape2.2.2 – normer $w_{h}$ à 1

Étape2.2.3 – $t_{h}\longleftarrow \mathrm {X} _{h-1}w_{h}/w'_{h}w_{h}$

Étape2.2.4 – $c_{h}\longleftarrow \mathrm {Y} '_{h-1}t_{h}/t'_{h}t_{h}$

Étape2.2.5 – $u_{h}\longleftarrow \mathrm {Y} _{h-1}c_{h}/c'_{h}c_{h}$

Étape2.3 – $p_{h}\longleftarrow \mathrm {X} '_{h-1}t_{h}/t'_{h}t_{h}$

Étape2.4 – $\mathrm {X} _{h}\longleftarrow \mathrm {X} _{h-1}-t_{h}p'_{h}$

Étape2.5 – $\mathrm {Y} _{h}\longleftarrow \mathrm {Y} _{h-1}-t_{h}c'_{h}$

La qualité de l'estimation est estimée par validation croisée, ou bien à l'aide du R² ou du Q² de Stone-Geisser.

L'interprétation se fait de la même manière qu'en analyse en composante principale, à l'aide de graphes montrant les observations sur les axes des variables latentes. Les paramètres t et u sont porteurs des similarités/dissimilarités entre les objets (individus). Toujours d'après S. Wold et coll, les poids w et c donnent des informations sur les corrélations entre Y et X. Les résidus de Y servent à apprécier l'ajustement au modèle, les résidus de X servent à détecter les valeurs aberrantes.

Géométriquement, la régression PLS est une projection sur un hyperplan de l'espace des X, de telle manière que ce plan soit une bonne estimation du nuage de points des X et dont les coordonnées des projections (les p) soient de bons prédicteurs des Y.

Régression PLS non linéaire

Il y a au moins deux manières d'introduire la non-linéarité dans l'approche PLS : la première consiste en une transformation non linéaire des données d'observations pour ensuite effectuer une régression linéaire PLS sur ces données transformées, la seconde consiste à supposer que les variables latentes t et u sont liées par des relations non linéaires.

Dans la première catégorie se trouvent des méthodes telles que : INLR de Anders Berglund et Svante Wold (« Implicit non-linear latent variable regression ») ajoute les carrés des variables X aux variables prédicteurs.

Alors que dans la seconde, on peut lister :

• La méthode PLS quadratique, proposée par S. Wold et al. en 1989, qui consiste à remplacer la relation linéaire entre les variables t et u par une relation polynomiale du second degré.
• I. E. Frank expose en 1990 le modèle NLPLS (« Non Linear PLS ») où la relation, entre les mêmes variables internes que ci-dessus, est exprimée par des fonctions lissantes.
• Toujours S. Wold en 1992, remplace la relation polynomiale de 1989 par une relation via des fonctions splines dans un modèle dénommé SPLPLS.
• Dans GIFI – PLS, on remplace la variable X par une série de variables constituées à partir de X et des classes de valeurs de X, puis on applique la régression PLS sur ces nouvelles variables.

Notes et références

Bibliographie

• Michel Tenenhaus, La régression PLS : Théorie et Pratique, Paris, éditions Technip, 1998, 254 p. (ISBN 978-2-7108-0735-3, lire en ligne)
• Stéphane Tufféry, Data Mining et statistique décisionnelle : l'intelligence des données, Paris, éditions Technip, 2010, 705 p. (ISBN 978-2-7108-0946-3, lire en ligne)