Regularizacija Lp normom

Regularizacija, kao što znamo, je tehnika koja pomaže u sprečavanju preprilagođavanja (overfitting) tako što ograničava složenost modela. Dve najčešće vrste regularizacije su \(L^2\) regularizacija (Ridge) i \(L^1\) regularizacija (Lasso).

Ova vrsta regularizacija radi tako što modifikuje funkciju čijom optimizacijom ocenjujemo koeficijente modela tako da kazni visoke vrednosti koeficijenata.

Podsetnik: Funkcije koje minimuzujemo predstavljaju empirijski rizik za datu određenu funkciju gubitka. Za linearnu i logističku regresiju su funkcije gubitka redom kvadratna greška i unakrsna neodređenost (cross-entropy loss). Za njih se dobija da je empirijski rizik redom jednak srednjekvadratnoj grešci (MSE) i negativnom logaritmu verodostojnosti, podeljenim sa brojem opservacija.

\(\text{MSE} = \frac{1}{n}\sum_{i=1}^n (f(x_i) - y_i)^2\), gde su \(f(x_i)\) numerička predviđanja modela.

\(\text{Cross-entropy loss} = - \frac{1}{n}\sum_{i=1}^{n} \left( y_i \log \pi(x_i) + (1 - y_i) \log (1 - \pi(x_i)) \right)\), gde su \(\pi(x_i)\) verovatnoće koje model predviđa.

Definicija

Neka je dat model definisan funkcijom predviđanja \(f_{\theta}(x)\), gde su \(\theta\) nepoznati parametri modela. Neka je \(L(y, f_{\theta}(x))\) funkcija gubitka. \(L^p\) regularizacija modifikuje optimizacioni problem tako što se ocene nepoznatih parametara dobiju na sledeći način: \[\hat{\theta} = \arg\min_{\theta}J(\theta) \], gde je \(J(\theta)\) modifikovan empirijski rizik: \[ J(\theta) = \frac{1}{n}\sum_{i=1}^n L(y_i, f_{\theta}(x_i)) + \lambda ||\theta||_p^p\] Parametar \(\lambda>0\) se ne ocenjuje, već je regularizacioni hiperparametar, odnosno predstavlja jačinu regularizacije. Što je \(\lambda\) veće, to je veća težina regularizacije u optimizacionom problemu.

Nadalje ćemo radi jednostavnosti i konkretizacije problema da se držimo notacije kod linearnih modela, ali ova forma regularizacije može da se primeni na bilo koji model čiji proces ocenjivanje parametar može da se definiše preko funkcije gubitka.

L2 regularizacija (Ridge)

\(L^2\) regularizacija dodaje kaznu empirijskom riziku koja je proporcionalna kvadratu vrednosti koeficijenata modela. Modifikovani empirijski rizik tada izgleda ovako:

\[ J(\beta) = \frac{1}{n}\sum_{i=1}^n L(y_i, f_{\beta}(x_i)) + \lambda \sum_{j=1}^p \beta_j^2 \]

Primetimo da pri računanju norme koeficijenata ne uzimamo u obzir koeficijent uz slobodan član. Ovo je praksa kod linearnih modela, jer model ne može da se preprilagodi na osnovu slobodnog člana, već samo na osnovu prediktora.

Efekti L2 regularizacije

  • Kazni visoke vrednosti koeficijenata \(\beta_j\), čime ih tera da budu manji. U poređenju sa standardnom procedurom, sada model pri optimizacija mora da obrati pažnju da koeficijenti ne budu preveliki, inače regularizacioni član u modifikovanom empirijskom riziku neće biti minimizovan.

  • Ograničavanjem koeficijenata smanjuje rizik od preprilagodjavanja jer modeli sa visokim vrednostima parametara imaju tendenciju da budu previše složeni.

  • Povećanjem jačine regularizacije, tj. povećanjem parametra \(\lambda\), se smanjuju performanse na trening skupu, pošto regularizaconi član u funkciji gubitku dobija veću važnost, a greška modela manju.

Zašto su visoke vrednosti koeficijenata indikator preprilagodjavanja?

  • Intuitivno objašnjenje:

Kada koeficijenti modela imaju velike vrednosti, to često znači da model prekomerno reaguje na male promene u podacima (npr. šum). Ovo dovodi do loše generalizacije na novim podacima.

  • Primer: Savršeno odvojivi podaci u logističkoj regresiji

U logističkoj regresiji, ako su podaci savršeno odvojivi (npr. klasa 1 i klasa 0 se mogu tačno razdvojiti pravom), bez regularizacije, model teži da predviđa samo verovatnoće 0 i 1 (tj. sva predviđanja pravi sa \(100\%\) samopouzdanja). Ovo postiže tako što koeficijenti teže beskonačnosti.

Za uvodni primer logističke regresije smo modelirali verovatnoću otkazivanja oring-a (nekog dela rakete) u zavisnosti od temperature:

Ako bismo imali uzorak podataka bez 2 tačke visoke temperature pri kojima je došlo do otkazivanja, podaci bi bili savršeno razdvojivi. Optimalni model bi za tačke koje nisu u trening skupu imao verodostojnost 0 (jer bi predviđao pogrešnu sa 100% sigurnosti). Vrednosti koeficijenata bi bile jako velike:

## (Intercept)        temp 
##   928.86292   -14.39824

Sa druge strane, regularizovani modeli mogu da daju realniju sliku:

L1 Regularizacija (Lasso)

\(L^1\) regularizacija dodaje kaznu koja je proporcionalna apsolutnoj vrednosti koeficijenata. Modifikovani empirijski rizik izgleda ovako:

\[ J(\beta) = \frac{1}{n}\sum_{i=1}^n L(y_i, f_{\beta}(x_i)) + \lambda \sum_{j=1}^p |\beta_j| \]

Ključna razlika između L1 i L2 regularizacije

Za razliku od \(L^2\) regularizacije, \(L^1\) regularizacija ima tendenciju da anulira neke koeficijente (\(\beta_j = 0\)), što znači da može efektivno da vrši automatsku selekciju prediktora. Ovo je korisno u primenama kada želimo potpuno da izbacimo neke prediktore u daljem radu. Na primer, ako pri medicinskom istraživanju u početnom problemu imamo rezultate velikog broja merenja (rezultati krvne slike, rezultati sistematskog pregleda, itd.). Za model koji uzima sve parametre u obzir, svako merenje mora uvek da se izvrši, i to može biti skupo. \(L^1\) regularizacija može da anulira koeficijente modela uz neke od ovih merenja, i time da ih obespotrebi, što bi nam smanjilo troškove u budućnosti.