AI Sözlük
Token Nedir?
Token, büyük dil modellerinin metni böldüğü sayısal birimdir. Model kelime değil token dizisi görür; API maliyeti ve bağlam limiti genelde token başına hesaplanır.
Tanım
Token, yapay zekâ dil modellerinin metni anlamak ve üretmek için kullandığı en küçük işlenebilir parçadır. Bir cümle doğrudan “kelime kelime” modele girmez; tokenizer adı verilen bir ön işlem, metni token adı verilen parçalara ayırır. Bu parçalar bazen tam bir kelime, bazen bir hece veya ek, bazen de noktalama ya da kod karakteri olabilir. Her token, modelin içindeki vektör tablosunda bir kimlik numarasına (ID) karşılık gelir. Bu yüzden “model ne kadar metin okuyabilir?” sorusu karakter veya sayfa sayısıyla değil, token kapasitesiyle cevaplanır. Türkçe ve kod gibi dillerde aynı görünür metin, İngilizceye göre daha fazla token sürebilir; bu da hem maliyeti hem de bağlam dolumunu etkiler.
Pratikte token üç yerde kritiktir: bağlam penceresi (modele aynı anda sığan maksimum token), API faturası (çoğu sağlayıcı girdi ve çıktıyı ayrı ayrı token ile fiyatlar) ve üretim limiti (cevap ne kadar uzun olabilir). Bu yüzden ürün ekipleri prompt tasarımında “kelime tasarrufu”ndan çok “token bütçesi” düşünür.
Örnek: “Merhaba dünya” kısa bir cümledir ama tokenizer’a göre birkaç token olabilir. Uzun bir JSON veya kaynak kod bloğu ise görsel olarak kısa dursa bile token sayısı şişebilir. Bu nedenle aynı işi farklı modellerde denemeden önce resmi token sayacıyla ölçmek doğru alışkanlıktır.
Sık sorulanlar
Token ile kelime aynı şey mi?
Hayır. Token bazen kelimeye denk gelir, bazen kelimenin bir parçasıdır. Ortalama olarak İngilizcede ~0,75 kelime ≈ 1 token kuralı kabaca kullanılır; Türkçe ve kodda oran değişir.
Neden token sayısı önemli?
Bağlam limiti ve API ücreti token cinsindendir. Token artarsa hem maliyet hem gecikme artabilir, uzun belgeler de pencereye sığmayabilir.
Tokenizer nedir?
Metni token’lara bölen algoritma ve sözlüktür. BPE, WordPiece gibi yöntemler sık görülen parçaları birleştirerek sözlük kurar.