Computational Dialectics

VI. Deneylerden ne öğrendik?

24. D0: küçük ama gerçek bir başlangıç

İlk başarılı gate büyük bir dialectical core değildi. D0, continuation-safe ve physically bounded bir scoped scalar update algebra oluşturdu. Bu bilinçli olarak dar tutuldu.

D0 bize şunu gösterdi: kapsam ve devam semantiği açıkça tanımlandığında, belirli bir update rejimini executable ve falsifiable hale getirebiliyoruz.

Ama D0 bize representation revision, ontology discovery veya neural architecture advantage göstermedi. Kitap bunu olduğundan büyük sunmayacak.

25. D1-A: ilk neural sinyal neden yeterli olmadı?

D1-A'da ilişkisel bir yapı sıradan global baseline'dan iki retained development seed'de daha iyi oldu. Fakat özel M0 mekanizmasının B1 üzerindeki üstünlüğü tekrarlanmadı.

Bu sonuç önemlidir çünkü “bir seed'de güçlü sonuç gördük” ile “mekanizma çalışıyor” arasındaki farkı gösterir. D1-A bu yüzden inconclusive olarak kapatıldı ve sealed confirmatory açılmadı.

26. D1-B: seçici ilişkisel temsil revizyonu

D1-B daha temiz bir soru soruyor:

Yeni kanıt bir ilişkisel yapının yalnız belirli bir kısmını geçersiz kıldığında, model yanlış kısmı revize edip doğru kalan kısmı koruyabilir mi? Ve bunu özel relational-selective architecture, güçlü sıradan alternatiflerden daha güvenilir yapıyor mu?

Benchmark mapping revision, edge rebinding, coupled propagation, edge removal, unchanged structure ve no-change davranışlarını birbirinden ayırıyor. Güçlü symbolic causal control görevi çözüyor; static/passive shortcut'lar çözemiyor. Bu, görevin kendisinin anlamlı olduğunu gösteriyor fakat özel neural mimarinin gerekli olduğunu göstermiyor.

27. B0-v1 başarısızlığı: kötü baseline nasıl sahte bilim üretebilir?

İlk learned pilot bilimsel bir kazanan üretmeden teknik olarak durdu. Flat-memory B0 baseline'ına yalnız FLOP eşitlemek amacıyla 15 shared-weight recurrent microstep eklenmişti. Training sırasında gradient normları patladı ve loss non-finite hale geldi.

Başta sorun yalnız float32 norm hesaplaması olabilir diye düşündük. Float64 norm fallback ile bunu test ettik. Model birkaç update daha ilerledi fakat gerçek training dynamics yine çöktü. Böylece “yalnız clipping bookkeeping” açıklamasını falsify ettik.

Bu negatif sonuç kitabın önemli bir metodoloji dersidir:

Bir baseline'ı kaynak eşitlemek uğruna yapay biçimde zorlaştırırsak, özel mimariyi haksız yere güçlü gösterebiliriz. Fair comparison yalnız parameter/FLOP sayısını değil, optimization geometry'yi de düşünmelidir.

Bu nedenle B0-v2 tek persistent update kullanan, kalan matched compute'u generic parallel transient computation'a ayıran daha temiz bir ordinary baseline olarak yeniden tasarlandı. Stability-only calibration 2.000/2.000 update PASS etti. Bu capability sonucu değildir; yalnız yeni baseline'ın training açısından deney yapılabilir olduğunu gösterir.

28. Deney protokolü de model kadar önemlidir

B0-v2 kararlı hale geldikten sonra yeni learned pilot için v4 protokolünü hazırladık. İlk bakışta deney güvenli görünüyordu: fresh development seed'leri vardı, confirmatory bank önceden sabitlenmişti, optimizer ve karar eşikleri değiştirilmemişti, test tarafı “sealed” olarak tanımlanmıştı. Zero-step dry-run da geçti.

Fakat bağımsız adversarial inceleme daha derin bir problem gösterdi. Bir deneyin bilimsel güvenilirliği yalnız model, veri ve metric'ten oluşmuyordu. Sonuçların hangi sırada açıldığı, seçilen checkpoint'in nasıl kanıtlandığı, bir run'ın yeniden çalıştırılıp çalıştırılamadığı ve final kararın hangi immutable artefaktlardan üretildiği de deneyin bir parçasıydı.

Eski akışta confirmatory run'lar tek tek eğitilip ardından test edilebiliyordu. Bu, test bank'i önceden belirlenmiş olsa bile ilk run'ın sonucunun daha sonraki execution kararlarını psikolojik veya operasyonel olarak etkilemesine izin verebilirdi. “Test seal” burada kriptografik bir sır değildi; test root'ları geçmiş artefaktlarda zaten görünüyordu. Dolayısıyla gerçek koruma, bilginin hangi aşamada kullanılmasına izin verildiğini enforce eden provenance protokolü olmak zorundaydı.

Bu nedenle v4.1'de confirmatory akışı üç faza ayrıldı:

1. sekiz run'ın tamamı yalnız train ve DEV üzerinde eğitilir ve checkpoint seçer;
2. bütün run'ların 20 checkpoint'lık ledger'ları, seçilen checkpoint hash'leri ve strongest ordinary comparator'ları tek bir complete selection freeze altında bağlanır;
3. ancak bundan sonra sekiz test paketi tek bir scoring fazında açılır.

Ayrıca run directory'leri write-once hale getirildi, technical failure ayrı abort artefaktı üretir, NaN/Inf yalnız training loss'ta değil logits, probability, evaluation loss ve decision metric'lerinde de teknik hata sayılır. Finalizer artık run_summary.json dosyasına güvenmez; checkpoint ledger'larından seçimi yeniden hesaplar.

Bu sertleştirme sırasında daha ince bir hata daha bulduk: ilk dry-run fixture'ı modeli test üzerinde skorlamıyordu ama confirmatory test satırlarını gerçekten yeniden üretiyordu. Bu da yeni bilgi-barrier ilkemizle çelişiyordu. Fixture değiştirildi; artık test verisini instantiate etmeden yalnız kontrol akışını sınar ve eski per-run test-açma yolu tamamen kapalıdır. Böylece bir deneyi doğrulayan test kodunun kendisi de deneyin bilgi rejimine uymak zorundadır.

Benzer biçimde confirmatory training authorization artık test açmaya yetmez. Sekiz run'ın selection freeze'i tamamlandıktan sonra, o freeze'in exact SHA256'sına bağlı ayrı bir one-shot scoring authorization gerekir. Scoring teknik olarak yarıda kalırsa aynı protokol sürümünde tekrar denenemez; yeni bir recovery sürümü ve audit gerekir. Bu kural, kısmen görülmüş test sonuçlarının sonraki denemeyi etkilemesini engeller.

Bu deney bize daha genel bir ders verdi:

Bir benchmark'ın “sealed test”e sahip olması tek başına yeterli değildir. Bilimsel bilgi akışı da tasarlanmalı ve test edilmelidir.

Bu bulgu Computational Dialectics mekanizmasının lehine veya aleyhine bir capability sonucu değildir. Fakat core'u geliştirirken kullandığımız araştırma yönteminin kendisini daha güvenilir hale getirdi. Bir mekanizmayı yanlış biçimde doğrulamak, o mekanizmanın başarısız çıkmasından daha tehlikelidir.

İki reviewer farklı şey söylediğinde ne yaptık?

v4.1 adayını iki bağımsız yapay zekâya incelettik. İlk reviewer paketi PROCEED olarak değerlendirdi. İkinci reviewer ise REVISE dedi ve özellikle stress alt-kümelerinde tanımsız kalan metriklerin NaN olarak sonuç artefaktına taşınabileceğini ileri sürdü. Bu noktada hangi modelin daha güçlü olduğuna veya kaç reviewer'ın aynı şeyi söylediğine bakmadık. İddiayı doğrudan frozen stress verisine karşı kontrol ettik.

k=0 stress grubunun yalnız NO_CHANGE_STABILITY sorguları içerdiğini gördük. Dolayısıyla structural ve bazı preservation/heldout macro'larının bu alt-kümede tanımsız olması gerçekten bekleniyordu. v5 runner bu eksikliği NaN ile temsil ediyor, fakat aynı runner JSON artefaktlarını allow_nan=False ile yazıyordu. Sonuç olarak ikinci reviewer'ın işaret ettiği hata gerçekti: model skorlaması tamamlanabilse bile sonuç yazımı teknik olarak çökebilirdi.

Bu vaka araştırma yöntemimiz için önemli bir ilke üretti:

Reviewer konsensüsü kanıt değildir. Bir eleştiri, onu üreten modelden bağımsız olarak, yeniden üretilebilir bir gözlemle sınanmalıdır.

Aynı nedenle PROCEED kararı da tek başına gate açmaz. Review, deney ve statik doğrulama birbirini denetleyen farklı bilgi kaynaklarıdır. Bir reviewer'ın kaçırdığı hata diğerinin bulgusu ve doğrudan veri incelemesiyle ortaya çıkabilir.

29. Bugünkü bilimsel durum

Şu anda D1-B için architecture winner yoktur. v4 protokolü adversarial review sırasında execution-integrity açıkları nedeniyle REVISE aldı. Bilimsel eşikleri değiştirmeden v4.1 onarımı hazırlanmıştır; learned pilot ancak exact v4.1 runner fresh adversarial review'dan PROCEED alır, freeze edilir ve explicit development-only authorization oluşturulursa başlayacaktır.

Bu kitabın yaşayan olması tam da burada önemlidir. D1-B M0 lehine sonuçlanırsa selective relation-specific mechanism için kanıt artacak. B2 aynı performansı verirse generic sparse memory daha sade açıklama olacaktır. B1 eşleşirse relational structure önemli olabilir fakat exact-zero selectivity gereksiz olabilir. Ordinary baseline'lar M0'ı geçerse özel primitive iddiası bu task family için reddedilecektir.

---