Grounded Turkish Data: daha fazla veri değil, daha izlenebilir veri

Neden yeni bir veri hattı gerekti?

CONTENT deneyleri bize iki sorun gösterdi: model surface shortcuts kullanabiliyordu ve evaluator da bazen gerçek capability ile kopyalama/format davranışını ayıramıyordu.

Bu yüzden çözüm yalnız "daha çok Türkçe token üretmek" değildi. Yeni veri hattının amacı hangi cevabın hangi evidence'tan geldiğini izleyebilmek, training ve evaluation materyalini ayırmak ve modelin evidence yokken cevap uydurmasını ayrıca ölçmekti.

Kaynak çerçevesi

Doğrulanmış kaynak frame'i şu aggregate büyüklüklere sahip:

Sequestered works training'e girmiyor. Amaç yalnız contamination riskini azaltmak değil; gelecekte gerçekten görülmemiş materyal üzerinde test yapabilmek.

Grounding ne demek?

Bir supervision örneği yalnız soru-cevap çifti olarak tutulmıyor. Cevabın dayandığı evidence, kaynak provenance'ı ve validation durumu birlikte izleniyor.

Böylece "model doğru cevabı verdi" sorusuna ek olarak şu sorular da sorulabiliyor:

• cevap verilen evidence tarafından destekleniyor mu?
• evidence gerçekten training-side kaynak mı?
• evaluation materyali sequestered mı?
• cevap yoksa model abstain edebiliyor mu?

Answer-present ve answer-absent

Sistem yalnız cevabı bulunan örnekler üretmeye çalışmıyor. Evidence'ın cevabı desteklemediği answer-absent örnekler de bilinçli olarak ayrı tutuluyor.

Bu, özellikle hallucination ve epistemic discipline açısından önemli. Modelin her prompt'a bir şey söylemesi değil, gerektiğinde yeterli kanıt yok davranışını öğrenmesi hedefleniyor.

Neden provenance önemli?

Grounded corpus yalnız training materyali değildir; aynı zamanda araştırma aracıdır. Bir sonuç beklenmedik biçimde yükseldiğinde geriye dönüp hangi source, passage, generator ve validation path'inin etkili olduğunu incelemek mümkün olmalıdır.

Bu yüzden hashes, manifests, shard accounting ve source registries yalnız implementation detayı değil, deneyin bilimsel provenance katmanıdır.

Ne yayınlamıyoruz?

Controlled-open politika gereği aggregate metodoloji ve sonuçları yayınlıyoruz; ancak rights-restricted source text, sequestered evaluation items, complete corpus contents, private generation prompts, hidden holdouts ve strategically sensitive exact recipes public değil.

Amaç kanıtı gizlemek değil; public claim'i doğrulamaya yetecek evidence ile private research core'u birbirinden ayırmak.

Araştırma açısından anlamı

Bu veri hattının değeri corpus büyüklüğünden çok teşhis gücünde. Eğer model grounded ve counterbalanced supervision altında hâlâ fresh relation transferinde başarısız olursa, "veri sadece kirliydi" veya "cevap register'ı yoktu" açıklamalarını daha güçlü biçimde dışlayabiliriz.