Evaluacija klasifikacionih modela
Predviđanje kod klasifikacionih modela
Kada klasifikacioni model predviđa verovatnoću pripadanja pozitivnoj klasi, prirodno, predviđamo pozitivnom klasom kada god je njena verovatnoća veća od verovatnoće negativne klase.
\[ \hat{y} = I\{\pi(X) > 0.5\} \]
U opštem slučaju, možemo da definišemo prag klasifikacije C, kao prag koji mora da se dostigne, da bi se napravilo predviđanje pozitivne klase.
\[ \hat{y} = I\{\pi(X) > C\} \]
Neki primeri u kojima je poželjno koristiti prag različit od 0.5:
1.Spam filter - Klasifikujemo, na osnovu teksta mejla, da li je mejl spam ili ne. Pretpostavimo da je spam kodiran jedinicom, odnosno da je on pozitivna klasa. Pošto je poželjno da korisnik dobije svaki bitan mejl, čak i ako ponekad primi spam, ovde je prirodno staviti visok prag klasifikacije.
2. Krađa kreditnih kartica - Na osnovu istorije transakciji, predviđamo da li je došlo do krađe. Pretpostavimo da je krađa pozitivna klasa. U praksi, kada god je u kratkom vremenskom periodu potrošena neobično veliku suma novca, moguće je da je došlo do krađe. Ovo bismo hteli da uočimo što pre, pa je u našem interesu da klasifikacioni prag bude nizak.
Matrica konfuzije
Matrica konfuzije je tabela koja prikazuje ispravno i pogrešno klasifikovane primere:
| Predviđena negativna | Predviđena pozitivna | |
|---|---|---|
| Stvarna negativna | True Negative (TN) | False Positive (FP) |
| Stvarna pozitivna | False Negative (FN) | True Positive (TP) |
Na osnovu matrice konfuzije možemo izračunati sledeće metrike:
Tačnost (eng. Accuracy) = (TP + TN) / (TN + FP + FN + TP) - Procenat tačno klasfikovanih instanci. Najčešće korišćena mera.
Preciznost (eng. Precision) = TP / (TP + FP) - Koliko je model precizan u svojoj predikcija pozitivnih klasa.
Senzitivitet/Odziv (eng. Sensitivity/Recall) = TP / (TP + FN) - Koji udeo stvarno pozitivnih instanci je model uspeo da primeti.
Specifičnost (eng. Specificity) = TN / (TN + FP) - Odziv za negativne.
F1-score = \(2\frac{precision \cdot recall}{precision + recall}\) - Harmonijska sredina preciznosti i odziva. Pošto su preciznost i odziv u konfliktu, nije moguće optimizovati oba istovremeno. Harmonijska sredina kazni male vrednosti, pa je visoka samo ako su i preciznosti i odziv visoki.
Zašto tačnost nije uvek dobra mera?
Primer: Uočavanje erupcije vulkana. Pretpostavimo da model predviđa erupciju vulkana. Ako se erupcija desi retko, model koji uvek predviđa “NE” može imati visoku tačnost, jer je velika većina podataka negativna. Ipak, taj model bi bio beskoristan, jer ne bi prepoznao nijednu stvarnu erupciju.
Uloga praga klasifikacije
Povećanjem praga klasifikacije češće svrstavamo instance u negativnu klasu, i time smanjujemo recall, dok precision i specificity rastu. Česta je praksa da se onda uzme prag koji maksimizuje F1-score.
ROC Kriva i AUC (Area Under the Curve)
ROC kriva predstavlja grafik veze između sensitivity i specificity za različite pragove klasifikacije. Prikazuje kako se ove dve mere menjaju kada se menja prag. Prag od 0 će imati 100% senzitiviteta, ali 0 specifičnosti. Ako je klasifikator dobar, nije potrebno mnogo smanjiti senzitivitet, da se postigne visoku specifičnost. Savršen klasifikator bi imao kvadratnu ROC krivu.
Površina ispod ROC krive (AUC) pruža jedinstvenu meru kvaliteta klasifikatora. AUC je nezavisna od izabranog praga i može se interpretirati kao verovatnoća da slučajno odabrana pozitivna tačka ima veću predviđenu verovatnoću od negativne. Pošto je ova verovatnoća jednaka 0.5 za nasumični klasfikator, to predstavlja donji prag za vrednost AUC. Prednost ove mere u odnosu na ostale mere leži u tome što uzima u obzir baš verovatnoću koju model predviđa, a ne samo konačno odabranu klasu. Savršen model, sa ROC krivom oblika kvadrata, ima AUC jednak 1.
