Türkçe için bir tokenizer geliştirmek

Tanay Ayitmaz, 1 Temmuz 2026’da “Designing a Tokenizer for a Turkish-Native Model: The TanAI 2B Experience” başlıklı makaleyi yayımladı.

Dil modeli kalitesiyle ilgili tartışmalar çoğunlukla parametre sayısına, eğitim verisine ve değerlendirme puanlarına odaklanıyor. Bu makale daha önceki bir adıma bakıyor: model işlemeye başlamadan önce tokenizer’ın dili nasıl temsil ettiğine.

Dilden başlamak

Türkçe, TanAI geliştirme sürecinin merkezinde yer alıyor. Makale, TanAI 2B deneyiminden tokenizer perspektifini paylaşarak bu temel bileşeni daha geniş mimari ve eğitim hikâyesinin yanına yerleştiriyor.

İngilizce özgün makale Medium’da erişilebilir. Sitenin model sayfası ise ilk araştırma revizyonlarından TanAI 3B Ku2’ye kadar geliştirme geçmişini koruyor.

Makalenin tamamını Medium’da okuyun ↗

Modelin gelişimini takip edin

Model geçmişini okuyun ve tüm yayınları keşfedin.