L1 i L2 Regularizacija

Regularizacija, kao što znamo, je tehnika u mašinskom učenju koja pomaže u sprečavanju preprilagodjavanja (overfitting) tako što ograničava kompleksnost modela. Dve najčešće vrste regularizacije su L2 regularizacija (Ridge) i L1 regularizacija (Lasso).

Ova vrsta regularizacija radi tako što modifikuje funkciju gubitka (funkcija čijom optimizacijom ocenjujemo koeficijente modele) tako da kazni visoke vrednosti koeficijenata.

Podsetnik: Funkcije gubitka za linearnu i logističku regresiju su redom, MSE (srednjekvadratna greška) i Cross-entropy loss (ekvivalentan negativnom logaritmu verodostojnosti).

\(\text{MSE} = \frac{1}{n}\sum_{i=1}^n (f(X_i) - y_i)^2\), gde su \(f(X_i)\) numerička predviđanja modela.

\(\text{Cross-entropy loss} = - \frac{1}{n}\sum_{i=1}^{n} \left( y_i \log \pi(X_i) + (1 - y_i) \log (1 - \pi(X_i)) \right)\), gde su \(\pi(X_i)\) verovatnoće koje model predviđa.

L2 Regularizacija (Ridge)

Definicija

L2 regularizacija dodaje kaznu funkciji gubitka koja je proporcionalna kvadratu vrednosti koeficijenata modela. Modifikovana funkcija gubitka izgleda ovako:

\[ J(\mathbf{\beta}) = \text{Loss}(\mathbf{\beta}) + \lambda \sum_{j=1}^n \beta_j^2 \]

  • \(\text{Loss}(\mathbf{\beta})\): standardna funkcija gubitka (npr. srednje kvadratna greška u regresiji).
  • \(\lambda > 0\): hiperparametar koji kontroliše jačinu regularizacije. Vrednost \(\lambda = 0\) odgovara modelu bez regularizacije.
  • \(\mathbf{\beta} = (\beta_1, \beta_2, \dots, \beta_n)\): koeficijenti modela.

Efekti L2 regularizacije

  • Kazne visoke vrednosti koeficijenata \(\beta_j\), čime ih tera da budu manji. U poređenju sa standardnom funkcijom gubitka, sada model pri optimizacija mora da obrati pažnju da koeficijenti ne budu preveliki, inače regularizacioni član u funkciji gubitku neće biti minimizovan.

  • Ograničavanjem koeficijenata smanjuje rizik od preprilagodjavanja jer modeli sa visokim vrednostima parametara imaju tendenciju da budu previše složeni.

  • Povećanjem jačine regularizacije, tj. povećanjem parametra \(\lambda\), se smanjuju performanse na trening skupu, pošto regularizaconi član u funkciji gubitku dobija veću važnost, a greška modela manju.

Zašto su visoke vrednosti koeficijenata indikator preprilagodjavanja?

  • Intuitivno objašnjenje:

Kada koeficijenti modela imaju velike vrednosti, to često znači da model prekomerno reaguje na male promene u podacima (npr. šum). Ovo dovodi do loše generalizacije na novim podacima.

  • Primer: Savršeno odvojivi podaci u logističkoj regresiji

U logističkoj regresiji, ako su podaci savršeno odvojivi (npr. klasa 1 i klasa 0 se mogu tačno razdvojiti pravom), bez regularizacije, model teži da predviđa samo verovatnoće 0 i 1 (tj. sva predviđanja pravi sa \(100\%\) samopouzdanja). Ovo postiže tako što koeficijenti teže beskonačnosti.

Za uvodni primer logističke regresije smo modelirali verovatnoću otkazivanja oring-a (nekog dela rakete) u zavisnosti od temperature:

Ako bismo imali uzorak podataka bez 2 tačke visoke temperature pri kojima je došlo do otkazivanja, podaci bi bili savršeno razdvojivi. Optimalni model bi za tačke koje nisu u trening skupu imao verodostojnost 0 (jer bi predviđao pogrešnu sa 100% sigurnosti). Vrednosti koeficijenata bi bile jako velike:

## (Intercept)        temp 
##   928.86292   -14.39824

Sa druge strane, regularizovani modeli mogu da daju realniju sliku:

L1 Regularizacija (Lasso)

Definicija

L1 regularizacija dodaje kaznu funkciji gubitka koja je proporcionalna apsolutnoj vrednosti koeficijenata. Modifikovana funkcija gubitka izgleda ovako:

\[ J(\mathbf{\beta}) = \text{Loss}(\mathbf{\beta}) + \lambda \sum_{j=1}^n |\beta_j| \]

Ključna razlika između L1 i L2 regularizacije

Za razliku od L2 regularizacije, L1 regularizacija ima tendenciju da anulira neke koeficijente (\(\beta_j = 0\)), što znači da može efektivno da vrši automatsku selekciju prediktora.