Açık araştırma, kontrollü yayın

Temel ilke

DEVİM kapalı bir laboratuvar olmak istemiyor. İnsanların neyi denediğimizi, neyin işe yaradığını, neyin başarısız olduğunu ve hangi soruların hâlâ açık kaldığını görebilmesini istiyoruz.

Buna karşılık açıklık, bütün araştırma varlıklarını aynı anda internete koymak anlamına gelmiyor.

Kanıtı aç; bütün tarifi körlemesine açma.

Bir sonucun anlaşılması ve eleştirilmesi için gereken araştırma anlatısı mümkün olduğunca kamusal olur. Nihai kör değerlendirme setleri, hak kısıtlı corpus, özel üretim reçetesi veya henüz yayın kararı verilmemiş özgün mekanizma ayrı bir yayın kapısından geçer.

Dört yayın sınıfı

• Public research: Bulgular, yöntem özeti, sınırlamalar, başarısız deneyler ve araştırma notları.
• Public reproducible: Korunan çekirdeği açmadan belirli bir sonucu yeniden üretmeye yetecek artifact ve kod.
• Gated release: Checkpoint, veri veya araç için açık erişim yerine lisans/erişim kapısı.
• Private core: Ölçüm bütünlüğü, haklar veya stratejik araştırma avantajı nedeniyle kamusal olmayan çekirdek varlıklar.

İnsanlar nasıl faydalanabilir?

Kamusal araştırma metinlerimizin varsayılan hedefi CC BY 4.0 lisansıdır. Başka bir lisans belirtilmedikçe insanlar içeriği paylaşabilir, uyarlayabilir, eğitimde veya başka çalışmalarda kullanabilir; karşılığında DEVİM’e ve ilgili yayına atıf vermeleri gerekir.

Bu lisans yalnız yayımlanan araştırma metnini kapsar. Kod, model ağırlıkları, dataset, evaluator artifact’i veya başka bir dosya ancak kendi sayfasında açıkça lisanslandığında aynı şekilde kullanılabilir.

Neleri özellikle koruyoruz?

Ölçümün değerini bozacak nihai değerlendirme soruları, üçüncü taraf hakları olan kaynak içerikleri, tam corpus karışım reçetesi, yayınlanmamış model checkpoint’leri ve doğrulanmamış özgün mimari mekanizmalar varsayılan olarak kamusal değildir.

Bu gizlilik araştırma sonucunu saklamak için değil; ölçümü, hakları ve gerçekten özgün olabilecek çalışmayı korumak içindir.

Model yayınlandığında

Model ağırlıklarının paylaşımı da aşamalı olacaktır: önce araştırma sonuçları ve model card, gerekirse daha sonra gated research checkpoint, olgunluk ve ayrı lisans kararı sonrasında ise açık ağırlık yayını.

Bir model erişim kısıtlıysa onu “open source” diye tanımlamayacağız. Kullanılan terim, gerçekte ne kadar erişim verdiğimizi doğru söyleyecek.