DEVİM araştırma zaman çizelgesi

Bu bir başarı kronolojisi değil

DEVİM'in gelişimi düz bir "model büyüdü ve daha iyi oldu" hikâyesi değil. Birçok aşamada önceki açıklamamızı değiştirmek zorunda kaldık. Bu zaman çizelgesi, yalnız başarılı koşuları değil, teşhisi değiştiren başarısız deneyleri de gösterir.

1 — Küçük ölçek referansı

Yaklaşık 43M parametreli model daha sonraki deneyler için tarihsel bir architecture-family referansı olarak tutuldu. Amaç onu nihai ürün yapmak değil, daha büyük modellerde görülen değişimin yalnız ölçekten gelip gelmediğini sorgulayabilmekti.

2 — 110M natural-only eğitim

Yaklaşık 110M parametreli plain causal Transformer, Gate B'ye kadar yaklaşık 1.2B supervised token gördü. Held-out cross-entropy belirgin biçimde iyileşti; fakat frozen V1.8 capability ölçümü neredeyse yerinde kaldı.

Bu, ilk büyük kırılmaydı: daha iyi language modeling, ölçülen relational capability ile aynı şey değildi.

3 — Interface problemi ortaya çıktı

Model yalnızca semantic capability'de değil, cevap üretme yüzeyinde de kötüydü: EOS düşük, repetition yüksekti. Bu yüzden "model bilmiyor" ile "model cevap verme register'ını öğrenmedi" açıklamalarını ayırmak gerekti.

4 — QA v0.1: kısmi iyileşme, yeni problem

Mekanik olarak türetilmiş grounded QA örnekleriyle küçük bir diagnostic child eğitildi. EOS ve repetition iyileşti; fakat frozen başarı eşikleri geçilmedi ve held-out CE geriledi. Child gelecekteki deneylerin parent'ı olmaya uygun bulunmadı.

5 — QA v0.2: evaluator copy-confound

Daha sert kontrol, görevin önemli bölümünün trivial copying ile çözülebildiğini gösterdi. Böylece extractive QA skorunu doğrudan relational understanding kanıtı sayamayacağımız anlaşıldı.

Bu aşama evaluator'ın da deneyin parçası olduğunu netleştirdi.

6 — FORM Rescue

Aynı parametre ölçeğinde, daha dengeli response-register supervision ile EOS ve repetition davranışı belirgin biçimde düzeldi. Bu, ilk modelin konuşma/interface arızasının yalnız parametre sayısıyla açıklanamayacağını gösterdi.

Ama FORM düzelmesi CONTENT çözümü olarak yorumlanmadı.

7 — CONTENT ve relation binding

Kontrollü curriculum'larda relation-binding ve abstention davranışlarında güçlü lokal sinyaller görüldü. Fakat fresh surfaces ve direct generation'a transfer zayıf kaldı. Adversarial review, kanıtı shortcut-dependent learning with weak transfer olarak tanımladı.

Bu bulgu araştırma yönünü "bir görevi öğreniyor mu?" sorusundan "öğrendiği ilişkiyi yeni yüzeylere taşıyabiliyor mu?" sorusuna çevirdi.

8 — Grounded Turkish data

Shortcut ve evaluator sorunlarına karşı cevap, yalnız daha fazla veri üretmek olmadı. Provenance taşıyan, sequestered evaluation materyali ayıran, answer-present / answer-absent ayrımını koruyan grounded bir Türkçe supervision programı kuruldu.

9 — 336M matched scale probe

110M sonuçlarından "model küçük" sonucunu doğrudan çıkarmak yerine bu hipotez kontrollü biçimde test edildi. Yaklaşık 336M plain Transformer Gate A'da bazı ölçümlerde iyileşti, fakat preregistered capacity gate'i geçemedi.

Resmî Gate-A kararı: GATE_A_NOT_ESTABLISHED_CONTINUE_GATE_B.

10 — Gate-B: ölçek tek başına kapasite etkisini kurmadı

336M Gate-B training frozen hedef olan 36,755 step / 1,200,012,349 supervised token seviyesine ulaştı ve matched değerlendirme tamamlandı.

336M breadth macro 0.4333333 oldu; matched 110M 0.3364583 idi. Fakat fark +0.096875 ile preregistered +0.20 eşiğinin altında kaldı. Minimum breadth family de 0.15 ile gerekli 0.45 eşiğini geçmedi.

Buna karşılık FORM EOS 0.96875'e, positive-control macro 0.8571429'a yükseldi. Yani ölçek bazı readout'ları gerçekten iyileştirdi ama hedeflenen geniş kapasite etkisini kurmadı.

Resmî Gate-B kararı: GATE_B_CAPACITY_EFFECT_NOT_ESTABLISHED_OPEN_ARCHITECTURE_DESIGN_GATE.

11 — Architecture-design gate

Bu sonuç "Transformer başarısız" demek değil. Yeni araştırma sorusu, parametre eklemek yerine hangi kontrollü mimari veya objective değişikliğinin weak transfer problemini gerçekten azalttığını matched baseline'larla sınamak.

Paralel hat — Computational Dialectics

Bütün bu süreçten bağımsız olarak Computational Dialectics, revision ve relational mechanisms'ı formal ve falsifiable hale getirmeye çalışıyor. Bu hat, DEVİM training'i bloke etmiyor ve ancak matched baseline'lara karşı kanıt üretirse gelecekte model entegrasyonuna aday olacak.

Bugünkü araştırma sorusu

Bugün DEVİM'in sorusu artık "daha büyük model daha iyi mi?" değil. Asıl soru şu: ölçeğin kuramadığı transfer/capability etkisini hangi veri, objective veya mimari değişikliği gerçekten kurabilir?