La régularisation est la pénalité pour la complexité d’un modèle. Elle aide à éviter le surapprentissage.
Le sur-apprentissage nécessite une régularisation. Mettre certains coefficients à 0, c’est la régularisation L0 (peut utilisée).
Les différents types de régularisation sont notamment :
- L1
- L2
- abandon
La pénalisation L1 pénalise la somme des abs des pondérations.
La régularisation L2 pondère aussi les coefficients mais ne les met pas à 0.
La figure ci-dessous présente un modèle où la perte d’apprentissage diminue progressivement, tandis que la perte de validation finit par augmenter. En d’autres termes, cette courbe de généralisation indique un surapprentissage des données par le modèle avec l’ensemble d’apprentissage.
L’idée est de minimiser à la fois la perte et la complexité, ce qui s’appelle la minimisation du risque structurel.
Nous pouvons quantifier la complexité à l’aide de la formule de L2, qui définit le facteur de régularisation comme étant la somme des carrés de toutes les pondérations des caractéristiques.
