Büyük dil modellerinin çoğu bir cümleyi doğrudan harfler halinde okumuyor. Metin önce token adı verilen sözcük veya sözcük parçası birimlerine ayrılıyor. Bu yöntem hesaplama açısından verimli; ancak modelin tek tek karakterleri, alışılmadık yazımları, bilgisayar kodunu veya biyolojik dizileri ele almasını zorlaştırabiliyor.

7 Ekim 2026’da Nature’da açık erişimli olarak yayımlanan çalışma, mevcut token tabanlı bir modeli daha küçük bir ek eğitim bütçesiyle bayt düzeyinde çalışan modele dönüştüren “byteification” yöntemini tanıtıyor. Araştırma Allen Institute for AI, Washington Üniversitesi ve farklı kurumların araştırmacıları tarafından yürütüldü. Çalışmanın DOI numarası 10.1038/s41586-026-11111-4.

Token sistemi neden kullanılıyor?

Bilgisayarda metin karakter ve baytlarla temsil edilse de her baytı ayrı giriş kabul etmek dizileri uzatıyor. “Yapay zekâ” gibi kısa bir ifade tokenleştiriciye göre birkaç birime ayrılabilirken UTF-8 baytları üzerinden daha fazla adım gerektirebilir. Dizi uzadıkça dikkat mekanizmasının hesaplama ve bellek maliyeti büyür.

Tokenleştirme bu sorunu sık kullanılan sözcükleri veya parçaları tek birim altında toplayarak hafifletiyor. Fakat hangi parçaların token olacağı eğitim verisine ve seçilen sözlüğe bağlı. Yaygın İngilizce kelimeler tek token olabilirken daha az temsil edilen diller, yazım hataları veya teknik diziler çok sayıda parçaya bölünebilir. Bu durum dil ve alanlar arasında eşitsiz maliyet yaratabilir.

Nature’ın News & Views değerlendirmesinde verilen basit örnek, modellerin “artificial intelligence” ifadesindeki belirli harfi sayma gibi görevlerde hata yapabilmesi. Model tokenları görüyor, fakat token içindeki karakterlere doğrudan erişmiyor. İyi bir model bazı örüntüleri eğitimden öğrenerek doğru yanıt verebilir; yine de karakter düzeyindeki işlem doğal çalışma biçimi değil.

Byteification nasıl çalışıyor?

Araştırmacılar, daha önce eğitilmiş alt-sözcük modelinin davranışını koruyarak bayt girişlerine geçmek için iki aşamalı bir yöntem kullanıyor. İlk aşamada yeni bayt mimarisi, kaynak modelin temsillerini mümkün olduğunca doğru biçimde yeniden üretmeyi öğreniyor. Makale bu hedefi kaynak modelden bilgi aktarımı sağlayan özel bir damıtma süreci olarak açıklıyor.

İkinci aşamada model bayt düzeyindeki yapıya uyum sağlayacak biçimde eğitiliyor. Yöntemin amacı, milyarlarca parametreli modeli sıfırdan ve devasa veriyle yeniden eğitmek yerine mevcut modelin kazanımlarından yararlanmak. Araştırmacılar toplam 49,1 milyar tokenlık ek eğitim kullandıklarını; bunun tipik bir ön eğitim bütçesinin yüzde 1’inden az olduğunu bildiriyor.

Çalışmada OLMo 3 7B’den Bolmo 7B, OLMo 2 1B’den Bolmo 1B oluşturuldu. Aynı yaklaşım Qwen3 8B Base üzerinde Bwen 8B, Llama 3 8B üzerinde Blama 8B modellerine uygulandı. Bu çeşitlilik yöntemin tek bir kaynak mimariye bağlı olmadığını göstermeyi amaçlıyor.

Bayt modeli her karaktere aynı ağırlığı mı veriyor?

Her baytı tam boyutlu Transformer katmanında ayrı ayrı işlemek maliyetli olurdu. Bolmo mimarisi, yerel bayt gruplarını daha üst düzey temsillere dönüştüren katmanlarla global modeli bir araya getiriyor. Böylece model ince ayrıntıya erişirken her bayt için bütün ağın hesaplamasını tekrarlamamaya çalışıyor.

Sınır tahmin bileşeni, hangi yerel bölgelerin birlikte işlenebileceğini öğreniyor. Bu, sabit bir sözlük kullanan geleneksel tokenleştiriciden farklı: Bölümlendirme davranışı modelin içinde ve bağlama bağlı olarak oluşabiliyor. Araştırmacıların “retrofitting” vurgusu, mevcut model ağırlıklarının büyük bölümünü koruyarak giriş-çıkış katmanını ve ilgili mimariyi dönüştürmelerinden geliyor.

Bu tasarım tokenleştiriciyi bütünüyle maliyetsiz hâle getirmiyor. Bayt dizileri hâlâ daha uzun. Makalede farklı eğitim aşamalarının FLOP ve bellek maliyetleri ayrı ele alınıyor; ilk aşamada global modelin yalnızca bir bölümünden geri yayılım yapıldığı için hesaplama ve optimize edici belleği azaltılabiliyor. Yine de gerçek üretim maliyeti, görev, donanım, bağlam uzunluğu ve uygulama optimizasyonuna bağlı.

Sonuçlar ne söylüyor?

Araştırmacılar byteification ile üretilen modellerin çeşitli genel görevlerde benzer büyüklükteki güçlü alt-sözcük modellerine yaklaşabildiğini ve önceki bayt düzeyi modelleri belirgin biçimde geçtiğini bildiriyor. Karakter ve bayt hassasiyeti gerektiren görevlerde doğal bir avantaj bekleniyor. Bilgisayar kodu, DNA/protein dizileri, karma yazım ve farklı alfabeler bu yaklaşımın ilgi çekici olduğu alanlar.

Sonuçların “token modelleri artık gereksiz” biçiminde yorumlanması doğru değil. Çalışma belirli model aileleri, eğitim bütçeleri ve değerlendirme kümeleri üzerinde gerçekleştirildi. Token tabanlı modellerin yıllar içinde geliştirilmiş çıkarım altyapısı ve donanım optimizasyonu bulunuyor. Bayt modeli benzer görev puanına ulaşsa bile aynı gecikme, enerji veya hizmet maliyetini sunduğu ayrıca ölçülmeli.

Nature’daki bağımsız değerlendirme, yöntemin harf sayma gibi örneklerde token sisteminin kör noktasını azaltmasını öne çıkarıyor. Ai2’nin araştırma özeti ise mevcut açık modellerin kısa ek eğitimle dönüştürülmesini temel pratik kazanım olarak sunuyor. Her iki kaynak da çalışmanın yazarlarının bildirdiği sonuçlara dayanıyor; üretim ölçeğinde bağımsız karşılaştırmalar henüz sınırlı.

Türkçe ve düşük kaynaklı diller için anlamı

Token sözlükleri eğitim verisinde sık görülen dillere daha verimli bölümler ayırabilir. Eklemeli yapısı nedeniyle Türkçede bir kökten çok sayıda sözcük biçimi türetilebiliyor. Bayt düzeyi model teorik olarak önceden tanımlanmış sözcük parçalarına daha az bağımlı olduğu için nadir ek birleşimleri ve yazım çeşitlerini daha tutarlı ele alabilir.

Ancak tokenleştiricinin kaldırılması veri dengesizliğini otomatik olarak çözmez. Model Türkçe metni az gördüyse baytları doğru okuyabilir ama anlam, kültür ve bilgi düzeyinde yine zayıf kalabilir. Dil performansı için eğitim verisinin niteliği, ölçme kümeleri ve yerel kullanıcı geri bildirimi önemini koruyor.

Kod ve bilimsel dizilerde olası kullanım

Kaynak kodda tek bir noktalama işareti veya kaçış karakteri programın anlamını değiştirebilir. Benzer biçimde biyolojik dizilerde tek baz veya amino asit değişimi araştırmanın konusu olabilir. Tokenleştirme, bu ayrıntıları modele dolaylı biçimde taşıyor. Bayt erişimi modelin ince farklılıkları daha doğrudan görmesini sağlayabilir.

Bununla birlikte bayt erişimi doğruluk garantisi değil. Bir model karakterleri eksiksiz sayarken programın güvenliğini yanlış değerlendirebilir veya biyolojik diziden aşırı genelleme yapabilir. Bilimsel kullanımda alan uzmanı doğrulaması, veri kökeni ve deneysel test zorunlu olmaya devam ediyor.

Açık modeller açısından önemi

Çalışmanın kaynak modelleri arasında OLMo gibi açık ağırlıklı sistemlerin bulunması, yöntemin incelenebilirliği açısından değerli. Araştırmacılar mimari ve eğitim ayrıntılarını makalenin yöntem ve ek materyal bölümlerinde açıklıyor. Bağımsız ekipler sonuçları farklı veri, donanım ve dillerde tekrar etmeye çalışabilir.

Yine de Qwen ve Llama tabanlı türevlerin lisansları, OLMo ailesiyle aynı kabul edilmemeli. Bir modelin teknik olarak dönüştürülebilmesi, ağırlıkların her kullanım ve yeniden dağıtım senaryosuna açık olduğu anlamına gelmez. Üretim kullanımında kaynak modelin lisansı ve yeni türevin dağıtım şartları ayrı incelenmeli.

Sonuç: Tokenlerin sonu değil, mimari seçeneklerin genişlemesi

Byteification, dil modellerinin karakter düzeyindeki zayıflığını çözmek için bütün modeli sıfırdan eğitme zorunluluğunu azaltan bir köprü öneriyor. Çalışmanın güçlü tarafı, yöntemi birden fazla model ailesinde uygulaması ve ön eğitim bütçesine kıyasla küçük bir ek eğitimle rekabetçi sonuç bildirmesi.

Asıl sınav; farklı dillerde, uzun bağlamlarda, gerçek kod tabanlarında ve üretim donanımında yapılacak bağımsız testler olacak. Bayt modelleri token tabanlı sistemleri bir gecede ortadan kaldırmayacak. Ancak metin, kod ve bilimsel dizilerin ortak bir temel temsille işlenebilmesi, gelecek model mimarileri için önemli bir araştırma yönü açıyor.