Neden Türkçe-first?

Dil yalnız bir çıktı biçimi değildir

Devim’de Türkçe, bir İngilizce modelin sonradan yerelleştirilmesi olarak ele alınmıyor. Veri seçimi, tokenizer davranışı, eğitim dağılımı, evaluator tasarımı ve üretim biçimi birlikte inceleniyor.

Neyi ayırmaya çalışıyoruz?

Bir modelin kötü cümle kurması ile ilişki kuramaması aynı problem değildir. Bu nedenle çalışmayı en az iki eksende izliyoruz:

• FORM: cümle kurma, tekrar, bitirme davranışı ve cevap biçimi.
• CONTENT: ilişki bağlama, talimatı izleme, genelleme ve gerektiğinde cevap vermeme.

Bu ayrım, daha büyük modele geçmeden önce hatanın kaynağını daha doğru teşhis etmek için kullanılıyor.

Araştırma ilkesi

Ölçek artışı bir açıklama değildir. Parametre sayısını büyütmeden önce veri, evaluator ve training schedule kaynaklı sorunları ayrı ayrı sınamaya çalışıyoruz.