devim-model · report
336M Gate A: daha büyük model kapasite etkisini kurdu mu?
336M bazı readout'larda belirgin ilerleme gösterdi, ancak önceden belirlenmiş capacity-effect eşiğini geçmedi. Gate B ek kanıt için açıldı.
Neden bu deneyi yaptık?
110M'deki capability durgunluğunu doğrudan "model küçük" diye yorumlamadık. Kapasiteyi ayrı bir değişken olarak eşleştirilmiş düz-Transformer probuyla test ettik.
Eşleştirilmiş Gate A
| Ölçüm | matched 110M | matched 336M |
|---|---|---|
| Breadth macro | 0.1875 | 0.3635417 |
| FORM EOS | 0.78125 | 0.8541667 |
| FORM repetition | 0.21875 | 0.1458333 |
| V1.8 macro | 0.399375 | 0.391875 |
| Şans üstü V1.8 competency | 3 | 2 |
| Positive-control macro | 0.5647321 | 0.7455357 |
Breadth farkı +0.1760417 oldu. Önceden belirlenen minimum fark +0.20 idi.
Karar
Resmî karar GATE_A_NOT_ESTABLISHED_CONTINUE_GATE_B oldu. capacity_effect_supported değeri false kaldı.
336M FORM ve positive-control tarafında güçlü kazanımlar gösterdi, fakat bu tek başına genel capacity advantage kurmaya yetmedi.
Neden önemli?
Ölçek burada bir inanç değil, test edilen hipotez. Daha büyük model bazı şeyleri daha iyi yapabilir; yine de önceden belirlenen capability kapısını geçmiyorsa "ölçek problemi çözdü" demiyoruz.
- Sürüm
- v1
- Kanıt
- 1
- Kaynak
- Git · tr/reports/336m-gate-a-eslesmis-olcek-probu.md
DEVİM yayınları sürüm geçmişini korur; kamusal kanıtı internal çalışmadan ayırır.