Kör Algoritma Neden Düşmez? Milyar Boyutlu Uzayda Öğrenmenin Matematiği

Optimizasyon problemleri, on yıllardır zihinlerimizde hep aynı görselle canlanır: Sisli bir dağ silsilesinde, en derin vadiyi bulmaya çalışan kör bir dağcı. Dağcı ayağını etrafında dolaştırır, eğimin aşağı doğru olduğu yönü hisseder ve o yöne doğru bir adım atar. Su nasıl her zaman yokuş aşağı akarsa, bir yapay sinir ağı da “gradyan inişi” (gradient descent) adı verilen bu matematiksel eylemle hatasını yavaş yavaş sıfıra indirmeye, yani öğrenmeye çalışır.

Ancak bu dağcı analojisinde, insanı her zaman tedirgin eden çok doğal bir tuzak vardır. Dağcı kör olduğu için, indiği yerin gerçekten yeryüzünün en derin noktası (global minimum) olup olmadığını asla bilemez. Ya sadece etrafı tepelerle çevrili küçük bir kratere düştüyse? Eğer bulunduğu noktadan atabileceği her adım yukarı doğruysa, dağcı o çukura sıkışıp kalacaktır. Oysa gerçek vadi, belki de hemen yandaki tepenin arkasındadır.

İnsanın üç boyutlu dünyada edindiği uzamsal sezgiler, bu çukurları aşılması gereken devasa birer problem olarak kodlar. Hatta sezgimiz bize, dağın boyutu ve karmaşıklığı ne kadar artarsa, haritadaki irili ufaklı kraterlerin sayısının da o kadar artacağını, dağcının işinin iyice imkansızlaşacağını söyler.

Oysa matematik böyle çalışmaz.

İnsan beyni, yüz milyar farklı eksene sahip bir uzayı hayal edebilecek şekilde evrimleşmemiştir. Ancak yapay zeka araştırmalarının arka planını oluşturan yüksek boyutlu geometri, üç boyutlu sezgilerimizin tamamen çöktüğü, kuralları çok farklı bir evrendir. Milyarlarca parametreye sahip modern modellerin öğrenirken kraterlere düşüp sıkışmamasının nedeni, yazılım mühendislerinin bulduğu zekice bir hile değildir. Nedeni çok daha temel ve güzel bir gerçektir: Yüz milyar boyutlu bir uzayda, içine düşebileceğiniz kapalı bir çukur neredeyse matematiksel olarak imkansızdır.

Doksanların Korkusu ve Çukurun Anatomisi

Yüksek boyutlu uzayların matematiğine girmeden önce, “yerel minimum” (local minimum) korkusunun yapay zeka tarihini nasıl şekillendirdiğine bakmak gerekir. Bu basit geometrik korku, akademik literatürde derin izler bırakmıştır.

Seksenli yılların ortalarında, geri yayılım (backpropagation) algoritması popülerleşip sinir ağlarını eğitebilmenin önünü açtığında, coşku büyüktü. Ancak araştırmacılar kısa süre sonra bu ağların “dışbükey olmayan” (non-convex) bir hata yüzeyine sahip olduğunu fark ettiler. Hata yüzeyini devasa bir harita gibi düşünürseniz, bu harita tek bir dev kaseden değil, sayısız tepe, çukur ve sırttan oluşuyordu. Dönemin düşük boyutlu optimizasyon teorisi ve insan sezgisi, algoritmanın en iyi çözümü bulamadan sürekli bu küçük yerel çukurlara sıkışacağını fısıldıyordu.

Bu şüphe öylesine derindi ki, doksanlı yıllar boyunca araştırmacılar sinir ağlarından yavaş yavaş uzaklaştılar. Destek Vektör Makineleri (SVM) gibi alternatif yöntemler sahneye çıktı. Çünkü SVM’ler dışbükey bir matematiğe sahipti; haritaları tek ve pürüzsüz bir kaseye benziyordu, dolayısıyla tek bir kesin dibi vardı ve algoritmanın sıkışma ihtimali yoktu. “İkinci Yapay Zeka Kışı” olarak bilinen dönemin arkasındaki teorik sebeplerden biri, işte bu yerel çukurlara duyulan matematiksel güvensizlikti.

O dönemde araştırmacıların haklı göründüğü bir nokta vardı: Küçük, birkaç yüz parametreli ağlar gerçekten de kötü çukurlara düşebiliyor ve öğrenmeyi durduruyordu. Buradan yola çıkarak çıkarılan sonuç basitti: Eğer küçük bir ağ bu kadar çok çukura düşüyorsa, milyonlarca parametreli devasa bir ağ kesinlikle aşılamaz bir mayın tarlasına benzeyecektir.

Ancak bu çıkarım, boyutların laneti üzerine kurulmuş mantıksal bir yanılsamaydı.

Zarlar Yüz Milyar Kez Atıldığında

Derin öğrenme modelleri milyarlarca parametreye ulaştığında, optimizasyon işlemi bir anda rahatlamaya başladı. Ağlar sıkışmıyor, bir şekilde her seferinde kabul edilebilir bir vadiye inmeyi başarıyordu. Bu paradoksun altındaki mekanizma, 2014 yılında Yann LeCun, Yoshua Bengio ve Yann Dauphin tarafından fizikten ödünç alınan bir teorinin, derin öğrenmeye uygulanmasıyla aydınlatıldı.

Ekip, rastgele matris teorisini (random matrix theory) kullanarak çok temel bir soru sordu: Çok yüksek boyutlu bir hata yüzeyinde, eğimin sıfırlandığı kritik bir noktaya geldiğimizde, bu noktanın gerçekten her tarafı kapalı bir çukur olma ihtimali nedir?

Cevap, boyutların kavis yönlerini belirleyen “Hessian matrisi”nin içinde gizliydi. Bir noktanın yerel bir çukur olabilmesi için, o noktadan çıkan tüm eksenlerin yukarı doğru kavis çizmesi gerekir. Eğer tek bir eksen bile aşağı doğru kavis çiziyorsa, bu bir çukur değil, bir kaçış yoludur.

İhtimali basit bir benzetmeyle hesaplayalım. Dağcımızın bulunduğu noktada, rastgele bir eksenin yukarı doğru kıvrılma ihtimalinin %50 (0.5) olduğunu varsayalım. Üç boyutlu uzayda, üç yönün de yukarı doğru kıvrılıp kapalı bir çukur oluşturma ihtimali 0.5×0.5×0.50.5×0.5×0.5, yani %12.5’tir. Bu, oldukça yüksek bir risktir.

Peki boyut sayısı yüz milyara çıkarsa ne olur?

Bir noktanın yüz milyar farklı eksende de şans eseri yukarı doğru kıvrılma ihtimali, yarım sayısının kendisiyle yüz milyar kez çarpılmasıdır (0.5100,000,000,0000.5100,000,000,000). Bu sayı pratik olarak sıfırdır. İstatistiksel bir kesinlikte konuşmak gerekirse, böyle bir çukur evrende var olamaz. Boyut sayısı arttıkça, zarın her seferinde aynı gelme ihtimali ortadan kalkar ve rastgele matris teorisinin yasaları gereği, her zaman negatif bir kavis, yani yokuş aşağı inen bir kaçış yolu bulunur.

Peki bir çukura düşmek imkansızsa, etrafımızdaki şekil tam olarak nedir?

Matematikçiler buna “eyer noktası” (saddle point) der. At eyerini veya bir cips dilimini (hiperbolik paraboloid) düşünün. Önden arkaya doğru yukarı doğru kavislenirken, sağdan sola doğru aşağı kavislenir. Merkezinde zemin tamamen düzdür, eğim sıfırdır. Yüksek boyutlu uzaylardaki “tuzaklar” işte bu devasa düzlüklerdir.

Algoritma bir eyer noktasına geldiğinde yavaşlar, çünkü eğim zayıflamıştır. Düzlükte biraz bocalar ama etrafı kapalı olmadığı için, negatif kavisi (aşağı inen o tek ekseni) bulur ve yanlardan süzülerek inmeye devam eder. Yüz milyar boyutlu öğrenmenin sırrı budur: Algoritmalar kraterlerden kaçacak kadar akıllı oldukları için değil, kraterler istatistiksel olarak buharlaştığı için başarılı olurlar.

Labirentin Duvarlarını Yıkmak: Aşırı Parametrelendirme

Eğer boyut sayısının artması çukurları yok ediyorsa, bu durum yapay zeka mimarisinin kalbindeki çok büyük bir yapısal kararı açıklamaya başlar: Aşırı parametrelendirme (overparameterization).

Klasik istatistikte sarsılmaz bir kural vardır: Occam’ın Usturası. Veriyi açıklamak için mümkün olan en basit modeli kullanmalısınız. Elinizde 1000 veri noktası varsa, bunu 5-10 parametreli bir denklemle açıklamak idealdir. Eğer parametre sayısını artırıp milyonlara çıkarırsanız, istatistik size modelinizin “ezber” (overfitting) yapacağını, yeni verilerde tamamen çuvallayacağını söyler.

Fakat modern dil modelleri, eğitim verilerinden çok daha fazla sayıda parametre içerir. Ortada bariz bir israf ve aşırılık var gibi görünür.

Ancak yüksek boyutlu uzayın geometrisi devreye girdiğinde, bu aşırılığın bir israf değil, mimari bir gereklilik olduğu ortaya çıkar. Eklenen milyarlarca parametre, modelin yürümesi gereken haritayı kelimenin tam anlamıyla pürüzsüzleştirir.

Sadece on boyutlu bir uzayda çözüm aradığınızı düşünün; haritanız dar geçitler, keskin virajlar ve dik yokuşlarla doludur. Fakat modele milyarlarca yeni boyut (parametre) eklendiğinde, bu dar geçitlerin etrafından dolanan devasa otoyollar inşa etmiş olursunuz. Modelin labirentin duvarlarını yıkmasına izin verirsiniz. Aşırı parametrelendirmenin yarattığı matematiksel mucize, tüm iyi çözümlerin (en düşük hata oranlarının) birbirine bağlandığı “düz vadiler” (flat minima) ağı yaratmasıdır. Model bir kez o geniş vadiye ulaştığında, içinde rahatça gezinebilir, küçük veri değişikliklerinden etkilenmez ve en önemlisi kraterlere düşmeden işini bitirir.

Sezginin Çöküşü

Bu kavramsal altyapı, insan merkezli düşünce sistemimiz için oldukça sarsıcıdır. Evrim bizi ormanda hareket eden bir canlıyı avlamak, fırlatılan bir mızrağın kavisini hesaplamak veya bir uçurumun kenarını algılamak üzere donatmıştır. Tüm uzamsal hayal gücümüz üç boyuta sıkı sıkıya bağlıdır.

Dördüncü boyutu bile zihnimizde canlandırmakta zorlanırken, yüz milyar boyutlu bir uzayın dinamiği karşısında sezgilerimiz sadece yetersiz kalmaz, aynı zamanda bizi doğrudan yanıltır.

Biz, kalabalıklaşan ve büyüyen şeylerin her zaman daha zor yönetileceğini varsayarız. Bir makinenin parçası ne kadar çoksa, bozulma ihtimali o kadar artar. Bir algoritmanın parametresi ne kadar çoksa, o kadar kolay takılıp düşeceği sanılır. Ancak matematik bize karmaşıklığın, belirli bir eşiği aştığında kendi çözümünü doğurduğunu gösterir.

Büyük dil modellerinin eğitiminde yaşanan o pürüzsüzleşme, doğadaki faz geçişlerini andırır. Suyun belirli bir sıcaklıkta aniden farklı fiziksel kurallara tabi olan buza dönüşmesi gibi, matematiksel uzaylar da devasa ölçeklere ulaştığında küçük ölçekli kurallarını (çukurlar, engeller, sıkışmalar) terk eder ve yerini yepyeni, geniş platoların istatistiğine bırakır. Geometri, insan sezgisine değil, kendi kümülatif olasılık yasalarına itaat eder.

Genelleme Bilmecesi

Yüksek boyutlu uzayların eyer noktalarıyla dolu olduğu ve parametre eklemenin haritayı düz vadilere çevirdiği artık matematiksel olarak kanıtlanmış bir gerçek. Modellerin “nasıl sıkışmadan öğrenebildiğini” dürüstçe açıklayan zemin burada yatıyor. Ancak bu açıklama, her sağlam bilimsel ilerleme gibi arkasında çok daha büyük ve henüz çözülememiş bir soru bırakır.

Haritadaki çukurların aslında birer eyer noktası olduğunu bilmek algoritmanın aşağı inmesini garantiler. Aşırı boyutların haritayı geniş vadilere çevirmesi, algoritmanın güvenle o vadilere yerleşmesini sağlar. Fakat modern makine öğrenmesinin en derin sınırlarından biri, o geniş vadide yatan “şeyin” doğasıyla ilgilidir.

Modelin o düz vadiye indiğinde yaptığı işlem ezber değildir; oraya ulaştığında daha önce hiç görmediği bir metni çevirebilir, hiç karşılaşmadığı bir problemi çözebilir. Buna genelleme (generalization) denir.

Teori bize eyer noktalarının varlığını ve inişin nasıl mümkün olduğunu açıklar, ama en sarsıcı gerçeği hâlâ açıklayamaz: Neden yüksek boyutlu bir uzayda gözü kapalı bir şekilde yokuş aşağı indiğinizde, sadece eğitim verilerini kusursuzca kopyalayan anlamsız bir çukura değil de, dünyanın, dilin ve mantığın gerçek yapılarını kavrayabilen o geniş “anlam vadisine” ulaşıyorsunuz?

Son Düzlükteki Soru

Milyar boyutlu bir uzayda öğrenmenin mekanizmasını anladığımızda, yapay zekayı çevreleyen o mistik havanın bir kısmı dağılır. Karşımızda insan gibi karar veren, tuzaklardan zekasıyla kaçan bir bilinç yoktur; sadece negatif eğimli bir eyer noktasından süzülen koca bir sayılar denizi vardır. Engeller, o denizin devasa boyutu sayesinde kendi kendine eriyip gitmektedir.

Fakat matematiğin bu zarafeti, çözülmekten çok uzak bir ufku işaret ediyor. Eğer boyutları artırmak, optimizasyonu ve öğrenmeyi kendi kendine çözen bir fiziksel yasaya dönüşüyorsa, bu “boyutun lütfu” nerede duracak?

Yalnızca parametre sayısını artırarak evrenin giderek daha pürüzsüz ve anlamlı vadilerine inebiliyorsak, karmaşıklığın altındaki gerçek sınır donanım mıdır, yoksa geometrinin kendisi mi? Algoritmalar büyüdükçe yollarının açılmasını sağlayan bu matematiksel cömertlik, sonsuza kadar devam edecek mi, yoksa bilmediğimiz yepyeni bir uzamsal duvara mı çarpacak?