TanAI 3B Ku2.
Çekirdeğinde Türkçe.

TanAI modelinin eğitim mimarisi Türkçe olarak tasarlandı. Geliştirme süreci, düşük parametreli bir model mimarisinin seçimiyle başladı.

R0: İlk Ar-Ge aşaması 153.2 milyon parametreyle tasarlandı.
R1: AR-Core ve Conditional Layers eklenerek parametre sayısı 182.7 milyona çıkarıldı ve Ar-Ge süreci devam etti.
R2: Model 813.16 milyon parametreye genişletildi. Önemli ölçüde gelişen Türkçe yetkinliği, uzun metinlerde bağlamı koruma becerisi ve etkili dikkat mekanizması sayesinde kendi kategorisindeki en iyi Türkçe modeller arasında yer edindi.
R3: Modeli 2.058 milyar parametreye ölçekledik ve 57 milyar token ile eğittik. Bu adım daha iyi akıl yürütme, daha geniş dünya ve dil bilgisi ve daha sağlam düşünce zincirleri sağladı.
R4: Ar-Ge süreçlerini başarıyla tamamladıktan sonra temel modelimiz TanAI 3B Ku2 geliştirildi. Modeli 193 milyardan fazla token ile eğitiyoruz. Eğitim şu anda Google Cloud üzerinde 8xH100 kümesinde sürüyor. Ardından eğitim EuroHPC Mn5 ACC süper bilgisayarlarında devam edecek.

Model henüz çok yeni ve geliştirme aşamasında. Bu aşamada ChatGPT, Gemini veya Claude gibi büyük ölçekli modellerle karşılaştırılmamalı. Mimari altyapıdaki hiperparametrelerin ayarlanması ve çok daha büyük veri kümeleriyle eğitim yoluyla çıkarım ve akıl yürütme çıktıları geliştirilebilir.

Tüm bu çalışmalar sonucunda TanAI, çekirdek yapısı temel alınarak sıfırdan geliştirilip eğitilen ilk Türkçe LLM modeli ve mimarisidir.