Computational Dialectics

I. Neyi çözmeye çalışıyoruz?

1. Cevap vermek başka, temsilini değiştirmek başka

Bir dil modeli çok güçlü olabilir. Bir soruyu yanıtlayabilir, uzun bir açıklama yazabilir, iki görüşü karşılaştırabilir ve hatta kendi önceki cevabını düzeltebilir. Fakat bunların hiçbiri tek başına modelin altında taşıdığı temsilin nasıl örgütlendiğini göstermez.

Basit bir örnek düşünelim. Bir sistem önce şu düzenliliği öğrenmiş olsun:

“X olduğunda Y artıyor.”

Daha sonra yeni kanıt gelsin:

“C1 koşulunda X, Y'yi artırıyor; C2 koşulunda ise azaltıyor.”

Sistem eski cümleyi silip yenisini ezberleyebilir. İki cümleyi belleğinde birlikte tutabilir. Son örneği daha yüksek ağırlıkla kullanabilir. Ya da ilk genellemenin fazla soyut olduğunu fark edip temsilini şöyle yeniden kurabilir:

“X'in Y üzerindeki etkisi koşula bağlı iki farklı ilişki üzerinden ortaya çıkıyor; eski genelleme kapsamını aşmıştı.”

Bizim ilgilendiğimiz fark buradadır. Son seçenek yalnız yeni bir cevap değildir. Eski temsilin kapsamı ve ilişki yapısı değişmiştir.

Computational Dialectics şu araştırma hipoteziyle başlar:

Bazı akıl yürütme sorunlarında doğru davranış, mevcut temsilden daha iyi bir çıktı üretmekten önce, hangi belirlenimlerin hâlâ geçerli olduğunu, hangilerinin fazla genellendiğini ve hangi ilişkilerin yeniden kurulması gerektiğini ayırt etmeyi gerektirir.

Bu hipotez doğru olmak zorunda değildir. Güçlü bir standart Transformer veya daha basit bir bellek sistemi aynı davranışı güvenilir biçimde öğrenebiliyorsa, özel bir dialectical core gereksiz olabilir.

Deneysel durum

Bugün elimizde genel bir “diyalektik zekâ” kanıtı yok. D0 yalnız dar bir scoped scalar update cebirini doğruladı. D1-A bazı ilişkisel yönlendirme faydalarını gösterdi fakat özel mekanizma üstünlüğü tekrarlanmadı. D1-B ise çok daha dar bir soruyu test ediyor: yeni kanıt geldiğinde yalnız geçersizleşen ilişkisel yapıyı değiştirip hâlâ geçerli yapıyı koruyabilen bir neural mimarinin güçlü sıradan alternatiflere karşı avantajı var mı?

Bu kitap bu sınırlılığı saklamaz. Tam tersine, hangi büyük fikrin bugün yalnız küçük bir parçasını test edebildiğimizi görünür tutar.

2. Neden yalnız Transformer demiyoruz?

Transformer bugün güçlü bir genel amaçlı dil ve örüntü öğrenme substrate'ıdır. Computational Dialectics araştırması Transformer'ın “yanlış” olduğunu varsaymaz. Hatta iyi bir kontrol grubu ve dil katmanı olmasının nedeni tam da gücüdür.

Ama Transformer ile next-token prediction aynı şey değildir. Biri mimari aile, diğeri eğitim hedefidir. Ayrıca zekâyı belirli bir mimariye eşitlemek metodolojik olarak risklidir. Bizim sorumuz “Transformer diyalektik olabilir mi?”den önce şudur:

İhtiyaç duyduğumuz hesaplama rejimi tam olarak nedir ve hangi substrate bu rejimi en az varsayımla, en güvenilir ve en verimli biçimde taşıyabilir?

Belki cevap Transformer + learned state olacaktır. Belki recurrent bir yapı, SSM, graph/slot memory, world-model benzeri sürekli latent state veya hibrit bir mimari daha uygun olacaktır. Belki de özel bir yapı hiç gerekmeyecektir.

Bu yüzden araştırmanın mantığı substrate-first değil, mechanism-first'tür. Önce hesaplanabilir gereksinimi tanımlarız; sonra aynı görevi farklı mimarilerle karşılaştırırız.

3. Zekâyı token'a indirgememek

Dil, insan bilgisinin çok güçlü bir taşıyıcısıdır. Fakat dünyadaki ilişki, süreç ve değişimlerin kendisi token değildir. Bir modelin bütün hesaplamasını yalnız sıradaki token seçimi olarak yorumlamak, modelin iç dünyasının da zorunlu olarak token düzeyinde örgütlenmesi gerektiği sonucunu vermez.

Uzun vadeli hipotezimizde dil giriş ve çıkış kanalı olabilir; arada ise geçici fakat süreklilik taşıyan bir world/concept state bulunabilir. Bu state kelimelerin kopyası değildir. Nesneler, ilişkiler, süreçler, koşullar, destekleyen kanıtlar, karşı kanıtlar, rakip açıklamalar ve revizyon geçmişi arasında bağlar taşıyabilir.

Bunu şimdiden doğru mimari ilan etmiyoruz. Fakat Computational Dialectics'in ana sorularından biri budur: düşünmenin hesaplama birimi her zaman token olmak zorunda mı, yoksa sistem zaman içinde kendi ilişkisel durumunu kurup dil aracılığıyla ona erişebilir mi?

---