CONTENT: ilişki bağlama neden yetmedi?

Problem

FORM Rescue'dan sonra model daha kullanılabilir cevaplar üretebiliyordu. Ama bu, doğru içeriği seçtiği veya ilişkileri gerçekten yeni durumlara taşıdığı anlamına gelmiyordu.

CONTENT hattının amacı bu ayrımı ölçmekti: model yalnız cevap yüzeyini mi öğreniyor, yoksa verilen evidence içindeki ilişkiyi bağlayıp yeni yüzeylere taşıyabiliyor mu?

Kontrollü başarı ne gösterdi?

Relation-binding curriculum'larında model bazı kontrollü koşullarda güçlü sinyal verdi. Familiar answer vocabulary üzerinde doğru bağları seçebildi; answer-absent örneklerde gerektiğinde cevap vermeme davranışı da öğrenilebildi.

Bu önemliydi, çünkü modelin hiçbir relational discrimination öğrenemediği açıklamasını zayıflattı.

Ama aynı başarı doğrudan genel transfer kanıtı değildi.

Shortcut problemi

Deneyler genişletildiğinde yüzey biçimi, familiar answer vocabulary ve görev yapısı gibi ipuçlarının doğru cevaba ulaşmayı kolaylaştırabildiği görüldü. Bu durumda yüksek task accuracy iki farklı mekanizmayla üretilebilir:

1. gerçekten ilişkiyi temsil edip yeni koşula taşımak;
2. eğitim dağılımındaki kestirme ipuçlarını kullanmak.

Adversarial review mevcut kanıtı en iyi shortcut-dependent learning with weak transfer olarak tanımladı.

Aux-head ile LM output aynı şey değil

Bir başka kritik ayrım da representation ile generation path arasındaydı. Auxiliary head'in doğru ilişkiyi okuyabilmesi, aynı bilginin language-model output yolunda kullanılabildiğini otomatik olarak göstermiyor.

Bu nedenle "representation bir yerde var" ile "model bunu doğrudan cevap üretirken kullanıyor" ayrı hipotezler olarak ele alındı.

Direct-LM testinin sınırı

Direct-LM deneyleri önemli, fakat dar bir hipotezi test ediyor: relation signal doğrudan LM output yoluna taşınıyor mu? Negatif sonuç tek başına next-token learning'in relational discrimination öğrenemeyeceğini kanıtlamaz; pozitif sonuç da geniş transferi tek başına kurmaz.

Araştırma kararı

CONTENT hattında artık başarı kriteri yalnız familiar task accuracy değil. Yeni yüzeyler, yeni answer vocabulary, counterbalancing, abstention ve direct generation birlikte sınanmalı.

Bu yüzden DEVİM şu aşamada "reasoning solved" demiyor. Daha doğru ifade şu: kontrollü relation learning sinyali var; fakat transfer ve shortcut dayanıklılığı henüz kurulmuş değil.

Neden önemli?

Bu teşhis ölçek ve mimari kararını doğrudan etkiliyor. Weak transfer'ın nedeni hâlâ data distribution, training objective, readout path, capacity veya architecture olabilir. Bu ayrım çözülmeden yeni bir mimariyi başarı ilan etmek bilimsel olarak erken olur.