Hatasız kul olmazmış! Bu sözü makine öğrenmesi yaşam döngüsüne de uyarlayabiliriz. En iyi makine öğrenmesi modelleri bile hata yapmalıdır. Aksi halde uyum aşımı dediğimiz problemle karşılaşırız ki test seti üzerinde yüzde yüze yakın tahminde bulunabilirken yeni örneklemler için muhtemelen nal toplarız. Bu noktada da önemli olan hataları nasıl ölçümleyeceğimizi bilmektir. Ancak, tahmin başarılarını ölçebileceğimiz tonlarca metrik vardır. Bu gönderide hangi metriği hangi durumda kullanmalıyızı irdelemeye çalışacağız.
Sürekli Değerler Üzerinde Hatalar
Yapılan tahminler, gerçek ya da beklenen değerin bir miktar üzerinde ya da altında olabilir. İki değer birbirine eşit olmadığı müddetçe hata yapılmıştır demektir. Dolayısıyla beklenen ve tahmin edilen değerin farkının pozitif ya da negatif olmasının bir önemi olmamalıdır. Aksi takdirde, beklenenin eşit olarak altında ve üstünde tahmin yaptığımız durumda çok düşük bir hata oranı hesaplarız. Beklenen ve tahmin değerlerinin farkının işaretlerini göz ardı edersek bu negatif etkiden kurtulmuş oluruz. Bu iki değerin farkının karesinin alırsak, farkın işaretini göz ardı etmiş oluruz. Bu metriğe Ortalama Karesel Hata ismini veriyoruz.
Mutlak farkların hesaplamamız halinde de işaret yanılgısından kurtulmuş oluruz. Bu metriği de Ortalama Mutlak Hata olarak adlandırıyoruz. Ancak bu metriği kullanmamız halinde iki önemli kazanımdan yoksun hale geliyoruz. İlk olarak, fark 0 ile 1 arasında bir değer ise farkın karesi, farktan ufak bir değer olmakta. Bu da ufak hataların toplam hataya daha az, büyük hataların ise daha fazla katkıda bulunmasını sağlıyor. Dolayısıyla bir mühendislik problemini çözüyorsak ortalama karesel hatayı minimize etmeye odaklanmalıyız. İkinci olarak, ortalama karesel hatanın anlamlı bir türevi varken, ortalama mutlak hata birinci dereceden bir denklem olması sebebiyle türevi her zaman 1’dir. Bu nedenle, ortalama karesel hatanın türevi, nöral ağlarda geri yayılım sırasında yansıtılmakta.
Bunlar dışında, korelasyon katsayısı iki verisetinin ne ölçüde ilişkili olduğunu çıkarmayı hedefler. Sıcaklık ve dondurma satışlarının ilişkisini düşünelim. Bu iki veri setinin korelasyonu da kuvvetli olacaktır. Makine öğreniminde ise korelasyonu tahmin ve beklenen veri setleri üzerine uygulayabiliriz. Korelasyon katsayısı -1 ve +1 aralığında değişkenlik göstermektedir. Katsayı, kuvvetli ilişkideki veri setlerinde -1 ya da +1’e yaklaşır. Eksi ya da artı değerliğe sahip olması ilişkinin yönünü belirtmektedir. Nötrlük ise veri setleri arasında ilişki olmadığını göstermektedir. Fakat, korelasyon bizi iki veri seti arasındaki sapma ya da hata konusunda yanıltabilir. Beklenen ve tahmin edilen değerler yüksek korelasyona sahipken yüksek hata oranına da sahip olabilir.
Konfüzyon Matrisi
Şimdiye kadar değindiğimiz metrikler çoğunlukla regresyon çalışmaları için anlamlıdır. Sınıflandırma çalışmalarında ise anlamlarını kaybederler. Örneğin bir hastalığın tespiti gibi seyrek olayların tahminini ele alalım. Bu durumda, hasta teşhisi konulan sağlıklı kişiler ve sağlıklı teşhisi konulan hasta kişiler de önemli metriklerdir. Bu durumda, sistem performansını ölçmek için aşağıdaki gibi iki boyutlu konfüzyon matrisini uygulamak bize yardım edecektir.
Konfüzyon matrisine göre 4 sonuç çıkarımı yapılabilir.
Gerçek pozitifler: hasta olarak tahmin edilmiş ve gerçekte de hasta olanlar
Gerçek negatifler: sağlıklı olarak tahmin edilmiş ve gerçekte de sağlıklı olanlar
Yanlış pozitifler: Sağlıklı olduğu halde hasta olarak tahmin edilen kişiler
Yanlış negatifler: Hasta olduğu halde sağlıklı olarak tahmin edilen kişiler
Pekişmesi açısından doktorun bir erkek hastaya hamile teşhisi koyması ya da karnı burnunda bir kadına hamile değil teşhisi konması yanlış pozitif ve yanlış negatif örnekleri olarak verilebilir.
Bu sonuçlar kesinlik ve hassasiyet olarak adlandırdığımız yeni metrikleri ortaya çıkartmakta.
Kesinlik: hasta olarak tahmin ettiklerimizin kaçı gerçekten hasta? Bu da Gerçek Pozitif / (Gerçek Pozitif + Yanlış Pozitif) değerine eşittir.
Hassasiyet: gerçekten de hasta olanların ne kadarını hasta olarak tahmin ettik? Bu da Gerçek Pozitif / (Gerçek Pozitif + Yanlış Negatif) değerine eşit olacaktır.
Sonuç
Üç tip yalan olduğu söylenir: yalan, kuyruklu yalan ve istatistik. Gerçekten de, bu metrikleri nasıl kullanacağınızı bilerek gerçekleri kolaylıkla manipüle edebilirsiniz. Örneğin korelasyon metriğini referans alarak sistemi olduğundan daha başarılı şekilde gösterebilirsiniz. Ya da mükemmele ulaşmak için ortalama karesel hatayı referans alırsınız. Umarım siz bu metrikleri mükemmele ulaşmak için kullananlardan olursunuz.
Bu yazı, Yazılımcının Seyir Defteri blog’undaki Homer Sometimes Nods: Error Metrics in Machine Learning yazısından Türkçe’ye çevrilmiştir.