L1 Prompt Fusion
İstemler ReasonAug ve ARD kullanılarak akıllıca oluşturulur ve özel olarak eğitilmiş TanAIEncoder ile L2 katmanına hazırlanır.
05 / YOL HARİTASI
TanAI’nin yol haritası. Bu mimarinin gelişimini izleyin. Mimariyi kullanmak için dokuz katmanın tamamlanması gerekmez: her katman modüler ve kullanıma uygundur.
İstemler ReasonAug ve ARD kullanılarak akıllıca oluşturulur ve özel olarak eğitilmiş TanAIEncoder ile L2 katmanına hazırlanır.
Otoregresif çekirdeğin tasarımı ve kodlanması. TanAIGATCore mimarisinde FUSED, ECV ve CHRONOS projeksiyonları tamamlandı.
64K söz varlığına sahip TanAITokenizer, 1280DIM TanAIEncoder, Offline Indexer, Vector Fused, Emotion ve Time eğitimi kullanılarak milyonlarca satırlık korpusla eğitim. Temel modeli eğitmek için tüm mimarinin birleştirilmesi. Kaydın yazıldığı aşamada model R1 eğitimindeydi.
Model 2B parametreye ölçeklendi. 0.8B modelin Ar-Ge süreçleri tamamlandı. Tokenizer 96K söz varlığıyla yeniden eğitildi; morfolojik dil yapılarını daha düşük frekanslarda destekliyor. Encoder, 1536D boyutu ve en fazla 4096 dizi uzunluğuyla eğitildi. Büyük veri kümeleri Base-LM eğitimi için indekslendi ve Condition Projection eğitimi için vektörleştirildi. Kaydın yazıldığı aşamada Base-LM eğitimi sürüyordu.
2B Base ve SFT eğitimlerinin ardından, 193 milyardan fazla token kullanarak daha gelişmiş ku2-3B modelini eğitiyoruz. Transformer Block Attention Residual geliştirmesini uyguladık; 2B modelde karşılaşılan RoPE ve KV-truncation sorunlarını çözdük. Bu model TanAI’nin temel modeli olacak.
AR modelinin çıkarımlarını dLLM ile birleştiren bir köprü tasarlayacağız.
Mimarinin ikinci çekirdeği olan Difüzyon mimarisi, Memory-Prediction yapısının omurgasıdır. L2 ve L3’ten gelen gizil temsilleri işleyerek insansı ve bağlama duyarlı çıktılar üretecek.
İşin en zor kısmı, AR modelindeki veri kümeleriyle gürültü oluşturarak Difüzyon çekirdeğini eğitmek.
AR ve dLLM’nin çok boyutlu çıktılarını tek ve tutarlı bir anlamsal-duygusal temsile dönüştüren katmanı tasarlayacağız.
Kullanıcının duygusal ve anlamsal sürekliliğini sağlayan, üretilen çıktının bağlamsal tutarlılığını güvence altına alan katman.
Tüm katmanlardan gelen çıkarımın son noktası. Voice Profiler eklentilerinin en kararlı biçimdeki kod çözücüsü.
SAT, kullanıcıdan öğrendiklerini bir işlem hattıyla iyileştirip model ağırlıklarına yansıtır. Gömülü RAG yükünü azaltır.
Öğrendiklerini size ihtiyaç duymadan uygularlar; hepsi bu kadar…