Derin öğrenme’de en yaygın olarak kullanılan aktivasyon fonksiyonları birer dans hareketi olsaydı nasıl olurdu dersiniz?
Aktivasyon fonksiyonları ne sağlarlar?
Derin öğrenme modellerinde ne konvolüsyonel katmanlar ne de yineleyen katmanlar ağlar non-lineerliği sağlamazlar. Yapay sinir ağlarını non-lineer yapan gizli katmanlar ve aktivasyon fonksiyonlarıdır. Burada aktivasyonu sağlayan bu fonksiyonunun iki temel görevi vardır. Birincisi ileri besleme adımında fonksiyonun kendisi ile tahminler yapılmasını sağlarken ikinci temel görevi geri yayılım adımında fonksiyonun türevi ile öğrenmeye katkı sağlar.
Bugünkü formuna nasıl ulaştı?
50’lerde ortaya atılan algılayıcılarda (perceptron) basamak fonksiyonu kullanılmaktaydı. Fakat tek katmanlı algılayıcılar ile sadece lineer problemler çözebiliyor olmamız nedeniyle evrildiği çok katmanlı algılayıcılarda (multilayer perceptron) ya da daha yaygın kullanımı ile nöral ağlarda aktivasyon fonksiyonları da evrilmişti. Araştırmacılar uzun yıllar sigmoid, tanh gibi fonksiyonları kullandılar.
Kompleks problemlerin çözümü için kompleks mimariler kurmaya başladık ama sigmoid ve tanh gibi fonksiyonlar eğitim sırasında kullanılan gradyanlarin kaybolmasına neden olmaktaydı (bkz: kaybolan gradyan problemi). Böylelikle daha fasit formda olan ReLU gibi fonksiyonlar şaşırtıcı şekilde tahta geçtiler. Bugünlerde ise her yeni gün yeni bir aktivasyon fonksiyonu ortaya atılmakta.
O zaman dans!
Aktivasyon fonksiyonlarını tasvir etmek için en iyi yöntemin dans hareketleri ile ifade etmek olacağı birden aklımda beliriverdi. Bu fikri uygularken de Michael Gralmannin’in Imaginary: Açık Matematik‘te yer alan çalışmalarından ilham aldım. Bugün derin öğrenme modellerinde en yaygın şekilde kullanılan aktivasyon fonksiyonlarını dans hareketleri şeklinde art arda koyarsak aşağıdaki eğlenceli animasyon ortaya çıkıyor. İzlerken videonun sesini açmayı unutmayın 🙂
Bu yazı, “Dance Moves of Deep Learning Activation Functions” yazısından Türkçe’ye çevrilmiştir.
Perfect