Lasso (statistiques)

Soit ${\displaystyle x_{i}=(x_{i,1},\dots ,x_{i,p})^{T}}$ , le vecteur contenant les variables explicatives associées à l'individu ${\displaystyle i}$ , ${\displaystyle y_{i}}$ la réponse associée et ${\displaystyle \beta =(\beta _{1},\dots ,\beta _{p})^{T}}$ les coefficients à estimer.

Dans le cadre d'un modèle linéaire standard, les coefficients sont obtenus par minimisation de la somme des carrés des résidus.

Avec la méthode lasso, le vecteur de coefficients ${\displaystyle {\widehat {\beta }}_{\lambda }^{L}}$ est également obtenu en minimisant la somme des carrés des résidus mais sous une contrainte supplémentaire :

${\displaystyle {\begin{aligned}\min _{\beta _{0},\beta _{1},\dots ,\beta _{p}}{\frac {1}{2}}\sum _{i=1}^{n}\left(y_{i}-\beta _{0}-\sum _{j=1}^{p}\beta _{j}x_{i,j}\right)^{2}{\text{ sous la contrainte }}\sum _{j=1}^{p}|\beta _{j}|\leq t.\end{aligned}}}$

Le paramètre ${\displaystyle t}$ contrôle le niveau de régularisation des coefficients estimés.

Il s'agit d'une pénalisation de la norme ${\displaystyle \ell _{1}}$ des coefficients ${\displaystyle \beta _{j},j=1,\dots ,p}$ . Cette contrainte va contracter la valeur des coefficients (tout comme la régression ridge) mais la forme de la pénalité ${\displaystyle \ell _{1}}$ va permettre à certains coefficients de valoir exactement zéro (à l'inverse de la régression ridge).

De plus, dans des cas où le nombre de variables est supérieur au nombre d'individus ${\displaystyle n<p}$ , le lasso en sélectionnera au plus ${\displaystyle n}$ ^[3].

On peut écrire aussi la version lagrangienne de ce problème :

${\displaystyle \min _{\beta _{0},\beta _{1},\dots ,\beta _{p}}{\frac {1}{2}}\sum _{i=1}^{n}\left(y_{i}-\beta _{0}-\sum _{j=1}^{p}\beta _{j}x_{i,j}\right)^{2}+\lambda \sum _{j=1}^{p}|\beta _{j}|}$

avec ${\displaystyle \lambda \geq 0}$ le paramètre de régularisation. Ce paramètre ${\displaystyle \lambda }$ est relié au paramètre ${\displaystyle t}$ par une relation dépendante des données.

Soit ${\displaystyle X}$ la matrice contenant en ligne les individus, ${\displaystyle X_{i,.}=(x_{i,1},\dots ,x_{i,p})}$ . Le lasso s'écrit généralement sous forme vectorielle, en considérant les variables centrées afin d'enlever la constante ${\displaystyle \beta _{0}}$ du problème :

${\displaystyle {\begin{aligned}\min _{\beta \in \mathbb {R} ^{p}}{\frac {1}{2}}\|y-X\beta \|_{2}^{2}{\text{ sous la contrainte }}\|\beta \|_{1}\leq t\end{aligned}}}$

avec ${\textstyle \|a\|_{q}=\left(\sum _{i=1}^{n}|a_{i}|^{q}\right)^{1/q}}$ la norme ${\displaystyle \ell _{q}.}$

La version vectorielle pour le lagrangien, quant à elle, s'écrit :

${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}{\frac {1}{2}}\|y-X\beta \|_{2}^{2}+\lambda \|\beta \|_{1}.}$

Dans le cas où la matrice ${\displaystyle X}$ est telle que ${\displaystyle X^{T}X=I_{p}}$ , le lasso a une solution explicite. L'estimateur lasso correspond alors à un seuillage doux de la solution des moindres carrées. Notons ${\displaystyle {\hat {\beta }}^{LS}}$ la solution des moindres carrées. La solution du lasso pour ${\displaystyle j=1,\dots ,p}$ est :

${\displaystyle {\hat {\beta }}_{j}^{L}=\operatorname {sgn}({\hat {\beta }}_{j}^{LS})\cdot \max(0,|{\hat {\beta }}_{j}^{LS}|-\lambda )}$

Les conditions de Karush-Kuhn-Tucker sont des conditions qu'une solution d'un problème d'optimisation sous contraintes doit vérifier pour être optimale. Dans le cas de la version linéaire du lasso, les conditions du premier ordre sont pour ${\displaystyle j=1,\dots ,p}$  :

${\displaystyle X_{.,j}(y-X{\hat {\beta }}_{\lambda }^{L})=\lambda s_{j},}$

${\displaystyle s_{j}\in \left\{{\begin{array}{lll}\operatorname {sgn}(({\hat {\beta }}_{\lambda }^{L})_{j})&{\mbox{si}}&({\hat {\beta }}_{\lambda }^{L})_{j}\not =0\\{[-1;1]}&{\mbox{si}}&({\hat {\beta }}_{\lambda }^{L})_{j}=0\end{array}}\right.}$

avec ${\displaystyle X_{.,j}}$ la ${\displaystyle j}$ ^ieme colonne de la matrice ${\displaystyle X}$ et ${\displaystyle s_{j}}$ appartenant au sous-différentiel de la fonction ${\displaystyle f(x)=|x|}$ ^[3].

Le lasso n'est pas uniquement restreint à la régression linéaire, il peut être également utilisé avec les modèles linéaires généralisés permettant ainsi de faire de la régression logistique pénalisée.L'écriture vectorielle de la forme lagrangienne est :

${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}{\frac {1}{n}}\sum \limits _{i=1}^{n}f_{\beta }(X_{i,.},y_{i})+\lambda \|\beta \|_{1}}$

avec ${\displaystyle f_{\beta }}$ une fonction objectif.

Par exemple, pour une régression logistique, on a :

${\displaystyle f_{\beta }(X_{i,.},y_{i})={\frac {1}{N}}\sum _{i=1}^{N}y_{i}-\log(1+e^{(\beta _{0}+X_{i,.}^{T}\beta )})}$ .

Les principaux avantages du lasso sont :

• Grande dimension : le lasso fonctionne dans les cas où le nombre d'individus est inférieur au nombre de variables ${\displaystyle (n<p)}$ , si toutefois un faible nombre de ces variables a une influence sur les observations (hypothèse de parcimonie). Cette propriété n'est pas vraie dans le cas de la régression linéaire classique avec un risque associé qui augmente comme la dimension de l'espace des variables même si l'hypothèse de parcimonie est vérifiée.
• Sélection parcimonieuse : le lasso permet de sélectionner un sous-ensemble restreint de variables (dépendant du paramètre ${\displaystyle \lambda }$ ). Cette sélection restreinte permet souvent de mieux interpréter un modèle (rasoir d'Ockham).
• Consistance de la sélection : lorsque le vrai vecteur solution ${\displaystyle \beta }$ est creux ${\displaystyle (\|\beta \|_{0}=K<p)}$ , c'est-à-dire que seul un sous-ensemble de variables est utilisé pour la prédiction, sous de bonnes conditions, le lasso sera en mesure de sélectionner ces variables d'intérêts avant toutes autres variables^[4].

Par contre, certaines limites du lasso ont été démontrées :

• Les fortes corrélations : si des variables sont fortement corrélées entre elles et qu'elles sont importantes pour la prédiction, le lasso en privilégiera une au détriment des autres. Un autre cas, où les corrélations posent problème, est quand les variables d'intérêts sont corrélées avec d'autres variables. Dans ce cas, la consistance de la sélection du lasso n'est plus assurée^[4].
• La très grande dimension : lorsque notamment la dimension est trop élevée (${\displaystyle p}$ très grand comparé à ${\displaystyle n}$ ) ou le vrai vecteur ${\displaystyle \beta }$ n'est pas suffisamment creux (trop de variables d'intérêts), le lasso ne pourra pas retrouver l'ensemble de ces variables d'intérêts^[5].

Comme la fonction objectif du lasso n'est pas différentiable (car la norme ${\displaystyle \ell _{1}}$ n'est pas différentiable en 0), différents algorithmes ont été développés afin d'en trouver les solutions. Parmi ces algorithmes, on retrouve notamment le Least-Angle Regression (LARS)^[6] et la descente de coordonnées circulaire ^[7].

Le lasso est utilisé dans des problèmes de grande dimension (${\displaystyle n\ll p}$ ), un cas où des méthodes plus classiques ne fonctionnent pas. Le lasso dispose d'algorithmes peu coûteux en temps de calcul et de stockage, ce qui le rend d'autant plus populaire, comme en génomique où l'on peut être amené à traiter des jeux de données avec plusieurs centaines de milliers de variables.

En pratique, le lasso est testé pour différentes valeurs de ${\displaystyle \lambda }$ . Un chemin solution représentant l'évolution des coefficients en fonction de ${\displaystyle \lambda }$ est ainsi obtenu. La courbe d'un coefficient estimé en fonction de ${\displaystyle \lambda }$ est linéaire par morceaux. Une fois ce chemin solution obtenu, une valeur de ${\displaystyle \lambda }$ est choisie par des méthodes comme la validation croisée ou un critère d'information (AIC par exemple).

Un certain nombre de variantes du lasso ont été créées pour étendre la méthode à différents cas pratiques ou pour pallier certaines limitations du lasso. Sont présentées ici les variantes les plus courantes.

L'Elastic-net^[8] a été introduit afin de surmonter deux "limitations" du lasso. Premièrement, le lasso ne peut sélectionner qu'au plus ${\displaystyle n}$ variables dans le cas où ${\displaystyle n<p}$ . Deuxièmement, en présence d'un groupe de variables fortement corrélées, le lasso ne sélectionne généralement qu'une seule variable du groupe. L'idée est donc d'ajouter au lasso une pénalité ridge. Ainsi l'objectif de l'Elastic-Net est :

${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}{\frac {1}{2}}\|y-X\beta \|_{2}^{2}+\lambda _{1}\|\beta \|_{1}+\lambda _{2}\|\beta \|_{2}^{2}}$

avec ${\displaystyle \lambda _{1}\geq 0}$ et ${\displaystyle \lambda _{2}\geq 0}$ .

Le Fused-Lasso^[9] permet de prendre en compte la spatialité des variables. Le principe est que les variables "proches" aient des coefficients estimés "proches". Cela est possible en pénalisant la norme ${\displaystyle \ell _{1}}$ de la différence de deux coefficients successifs. De la même manière que pénaliser la norme ${\displaystyle \ell _{1}}$ d'un coefficient a tendance à produire des coefficients égaux à 0, pénaliser la différence va favoriser l'égalité de deux coefficients successifs. L'objectif du Fused-Lasso est alors :

${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}{\frac {1}{2}}\|y-X\beta \|_{2}^{2}+\lambda _{1}\|\beta \|_{1}+\lambda _{2}\sum \limits _{j=2}^{p}|\beta _{j}-\beta _{j-1}|}$

avec ${\displaystyle \lambda _{1}\geq 0}$ et ${\displaystyle \lambda _{2}\geq 0}$ .

L'idée du Group-Lasso^[10] est d'avoir une méthode fournissant une sélection parcimonieuse de groupes (fournis a priori) et non de variables. Soit ${\displaystyle {\mathcal {G}}=\{G_{1},\dots ,G_{K}\}}$ , une partition des ${\displaystyle p}$ variables en ${\displaystyle K}$ groupes. On note ${\displaystyle \beta _{G}}$ , pour ${\displaystyle G\in {\mathcal {G}}}$ , le vecteur ${\displaystyle \beta }$ restreint aux éléments du groupe ${\displaystyle G}$ . L'objectif du Group-Lasso est :

${\displaystyle \min _{\beta \in \mathbb {R} ^{p}}{\frac {1}{2}}\|y-X\beta \|_{2}^{2}+\lambda \sum \limits _{j=1}^{K}w_{j}\|\beta _{G_{j}}\|_{2}}$

avec ${\displaystyle \lambda \geq 0}$ , le paramètre de régularisation et ${\displaystyle w_{j}>0}$ , un poids associé au groupe ${\displaystyle G_{j}}$ (généralement ${\displaystyle {\sqrt {\mathrm {Card} (G_{j})}}}$ ).