Her adım bir iz bırakır.

2B modelimizi eğitirken ve test ederken RoPE ve KV matrislerinde bir sorunla karşılaştık. Bunu çözüp modeli 3B düzeyine ölçeklemek için çeşitli iyileştirmeler uyguladık. Transformer mimarimize “Block Attention Residual” bileşenini ekledik: 36 blok boyunca, her dördüncü blokta önceki katman gruplarının temsillerini ayrı bir kaynak olarak tutup öğrenilen ağırlıklarla mevcut token verisiyle birleştirdik. Şu anda modeli Google Cloud üzerinde 8xH100 kümesinde, 193 milyardan fazla token ile eğitiyoruz. Modeli kendi tüketici sınıfı GPU’larımızdan yüksek performanslı GPU kümelerine başarıyla taşıdık. Yorulmadan ilerliyoruz… Tüm test sonuçlarını Tanay Ayitmaz’ın X profilinden takip edebilirsiniz.

Modelin 2B Base-LM sürümünü oluşturmak için 57B+ token ile eğitim yapıyoruz. Bu eğitimde 0.8B modelden farklı bir korpus kullandık. Culturax, Fineweb Eng, Open Subtitles, Math, Legal, Health, QA ve sentetik akıl yürütme verileri üzerinde eğitim sürüyor. Base-LM’yi kendi tüketici sınıfı GPU’larımızda eğitiyoruz. Zorlu ve uzun bir süreç. Ancak mevcut eğitim koşusundaki testlerimiz çok iyi sonuçlar veriyor. Tüm test sonuçlarını Tanay Ayitmaz’ın X profilinden takip edebilirsiniz.

TanAI Ar-Ge süreçlerini tamamladı; ürünleştirme aşaması için modeli 2.0 milyar parametreye ölçekliyoruz. Daha geniş bağlam, daha büyük söz varlığı, gelişmiş akıl yürütme ve düşünce zinciri yetenekleri sağlayacak mimari iyileştirmeleri tamamlamak üzereyiz.

Model 0.8B parametreye (813.16M) ölçeklendikten sonra Tokenizer, Encoder, Indexer, Vector, Base-LM ve Condition Projection eğitimleri tamamlandı. Bu uzun süreçte model 16.5B token üzerinde eğitildi ve Türkçeyi çok iyi öğrenmiş bir temel model elde edildi. Chinchilla yönergelerine uygun olarak, dili etkili biçimde öğrenmesi için parametre başına yaklaşık 20 token kullanıldı.
Ardından Condition Stack ve SFT eğitimiyle Instruction moduna geçildi. Model Türkçe üretimde çok iyi performans gösterirken, Deterministic modda Cond Proj etkisi sayesinde aynı isteme, istemle tutarlı kalıp birbirinden farklı yanıtlar üretebiliyor.

183M parametreli modelin tüm iç testleri tamamlandı. Modelin Türkçe dil ve dil bilgisi yapısını açıkça öğrendiğini gözlemledik. Elbette 106GB korpus ve 52K satırlık SFT verisi çok sınırlı; tam kapasite öğrenme mümkün değil. Modelin çok küçük olması da bir etken. Modeli yaklaşık 4.5 kat büyüterek 813M parametreye çıkarıyoruz. 700GB korpus ve 2.56M satırlık SFT verisiyle eğiteceğiz. Bu veriler 813M’lik küçük bir model için büyük olsa da performansı belirgin biçimde artıracak. Önceki eğitim deneyimimizle daha kararlı bir yol izleyeceğiz: Tokenizer → Encoder (negatif ve pozitif gerçek vektör uzayı) → Offline Indexer → F16 vektör üretimi (Fused 256D, ECV 64D ve Chronos 32D) → Temel model eğitimi → Projeksiyon eğitimi → SFT eğitimi (projeksiyonlarla).
Adaptive RAG ve Context Management ile 813M parametreli bir model, 2B+ bir modelle karşılaştırılabilir veya daha iyi performans sunabilir.

Revision 0’da kullandığımız ReasonAUG ve ARD (adaptive reason diffusion) özelliklerini geliştirerek Adaptive RAG yapısına katmaya karar verdik. ReasonAUG ve ARD’de verinin dış kaynaktan statik olarak beslenmesi gerekiyordu. Adaptive RAG ile model, kullanıcının veri girdisi ve model yanıtlarına dayanan bir puanlama yöntemiyle (RLHF gibi) daha doğru bilgiyi öğrenip modele aktarır. Adaptive RAG, SessionId, Persona ve Global yapılarında kullanılabilir. Bir oturumda öğrenilen bilgi, Safety katmanından geçerek (kullanıcının kabul etmesi koşuluyla) tüm kullanıcılar için modele yön verebilir.

ECV (Emotional Condition Vector) yapısı L1 katmanında sırasız biçimde oluşturulmuştu. Otoregresif çekirdekteki ECV projeksiyonunda 32 boyutlu vektör oluşturulurken, istemi oluşturan sekiz farklı duygu ve kullanıcının genel duygusal yaklaşımı sıralı biçimde kullanılacak.

Sorunu eğitim akışını değiştirerek çözdük. Temel model ile tüm projeksiyonları aynı anda eğitmek yerine önce temel modeli eğitiyoruz. Temel model dil yapısını öğrendikten sonra ağırlıklarını dondurup Fused, Evc ve Chronos projeksiyonlarını eğiteceğiz. Temel model 2 x 5090 GPU üzerinde 3 gün eğitilecek. Temel model eğitilirken, projeksiyonların kullanılacağını hatırlaması için mevcut projeksiyonları %97 sıfır vektörü ve %3 gürültüyle besliyoruz.

Temel model eğitimi sırasında, indekslenmiş korpus ve .f16 dosyalarından oluşan Fused(256dim), Evc(32dim) ve Chronos(32)dim verilerini kullanırken logits hesaplamalarının tüm GPU kaynaklarını tükettiğini ve GPU belleğinin dolduğunu fark ettik. OOM sorununu aştıktan sonra haftalar sürecek bir eğitim süresiyle karşılaştık. Modelin yeni projeksiyon katmanlarını eğitmek için iyileştirmelere devam ediyoruz.

1. TanAITokenizer, Türkçe 64K söz varlığıyla 110+GB korpus üzerinde eğitildi.
2. TanAIEncoder, TanAITokenizer kullanılarak 768DIM ile eğitildi.
3. Korpus, TanAITokenizer ile token’lara ayrılıp çevrimdışı indekslendi.
4. TanAITokenizer ve TanAIEncoder’ın token yapısı kullanılarak 256 vektörlü FUSED, 32 vektörlü ECV ve 32 vektörlü CHRONOS float16 indeksleri oluşturuldu.
5. Modelin temel eğitiminin tamamlanması bekleniyor.

TanAIGATCore, küçük bir LLM modeli olarak kodlandı. Revision Zero’nun amacı Türkçe kelime ve cümle yapısını öğrenmekti. Temel model, özelleştirilmiş 64K söz varlıklı TanAITokenizer ile 21.7 milyar token işlenerek oluşturuldu. Modelin bir persona kazanması için Orca ve Aggro veri kümeleriyle SFT testleri yapıldı.

Model yapısı:

  TanAIGATCore(
  (tok_emb): Embedding(64000, 768)
  (dropout): Dropout(p=0.1, inplace=False)
  (blocks): ModuleList(
    (0-11): 12 x GATBlock(
      (norm1): AdaRMSNorm()
      (norm2): AdaRMSNorm()
      (attn): MultiHeadAttentionGQA(
        (q_proj): Linear(in_features=768, out_features=768, bias=False)
        (k_proj): Linear(in_features=768, out_features=256, bias=False)
        (v_proj): Linear(in_features=768, out_features=256, bias=False)
        (o_proj): Linear(in_features=768, out_features=768, bias=False)
        (dropout): Dropout(p=0.1, inplace=False)
      )
      (ffn): SwiGLU(
        (w1): Linear(in_features=768, out_features=3072, bias=False)
        (w2): Linear(in_features=768, out_features=3072, bias=False)
        (w3): Linear(in_features=3072, out_features=768, bias=False)
        (dropout): Dropout(p=0.1, inplace=False)
      )
      (ada_proj): Linear(in_features=768, out_features=3072, bias=False)
      )
    )
  )
  (norm_f): AdaRMSNorm()
  (ada_proj_f): Linear(in_features=768, out_features=1536, bias=False)
  (rotary): RotaryEmbedding()
  (lm_head): Linear(in_features=768, out_features=64000, bias=False)
  (cond_proj): Linear(in_features=256, out_features=768, bias=False)
  (chronos_proj): Linear(in_features=32, out_features=768, bias=False)
  (ecv_proj): Linear(in_features=32, out_features=768, bias=False)
  )
Model Params: 182.72 M

Prompt Fusion motor mimarisi 18 modülle tamamlandı. Kullanıcı istemi girdikten sonra PII/Safety modülüyle güvenliği artırılır. Encoder ile vektörlere dönüştürülür. Düşük ve yeterli bağlam kontrolleri geliştirildi. Bağlam düşük olduğunda ReasonAug modülleri, istemi yeterli bağlam kapasitesine taşımak için devreye girer. Tüm akış State yapısı ve Telemetry ile izlenir.