TanAI 3B GAT Eğitimi, Google Cloud’da 8×H100 Kümesinde Başladı

TanAI, model geliştirme programının bir sonraki büyük aşamasını başlattı.

2B Base-LM ve Core-SFT aşamalarının tamamlanmasının ardından, yeniden tasarlanmış bir 3B Generative-Adaptive Transformer mimarisine geçtik ve 8×NVIDIA H100 GPU ile donatılmış bir Google Cloud kümesinde eğitime başladık.

Yeni model yaklaşık olarak şu parametre dağılımına sahip:

• Dil modeli omurgasında 2,4B parametre
• Uyarlanabilir ve koşullandırma bileşenlerinde 0,6B parametre
• Toplamda 3B parametre

Güncel eğitim korpusu 193 milyardan fazla token içeriyor. Türkçe odaklı dil verilerini; seçilmiş İngilizce, kod, matematik, akıl yürütme ve yapılandırılmış metin kaynaklarıyla bir araya getiriyor.

Bu revizyon; güncellenmiş bir RoPE uygulaması, Grouped Query Attention, 16K doğal bağlam hedefi, blok düzeyinde attention residual bağlantıları ve genişletilmiş FUSED, ECV ve CHRONOS koşullandırma projeksiyonları dâhil olmak üzere önemli mimari değişiklikler getiriyor.

Amaç yalnızca parametre sayısını artırmak değil. 3B revizyonu, eğitim verimliliğini, bağlam davranışını ve ürünleşmeye hazır olma düzeyini iyileştirirken dil omurgası ile TanAI’nin uyarlanabilir koşullandırma mimarisi arasında daha kararlı bir ayrım oluşturmak üzere tasarlandı.

Eğitim şu anda devam ediyor. Build in Public yaklaşımımız doğrultusunda, eğitim ilerledikçe seçili kayıp eğrileri, eğitim dönüm noktaları, model çıktıları ve teknik bulgular yayımlanacak.