AI Sözlük
Tokenizer Nedir?
Tokenizer, metni token’lara bölüp her parçaya bir kimlik numarası veren ön işleme katmanıdır; model bu ID dizisini görür.
Tanım
Tokenizer, dil modelinin kapı bekçisidir. Kullanıcı metin yazar; tokenizer bunu token listesine ve ID’lere çevirir. Çıktı tarafında ID’ler tekrar metne birleştirilir. Byte-Pair Encoding (BPE) ve akrabaları sık görülen karakter çiftlerini birleştirerek alt-sözcük sözlüğü oluşturur. Tokenizer modeli değiştirmek, embedding matrisini ve tüm checkpoint uyumunu etkilediği için ucuz bir karar değildir. Kötü tokenizer, aynı metni gereksiz uzun token’lara böler; fatura ve bağlam israfı doğar.
Çok dilli ve kod ağırlıklı uygulamalarda tokenizer seçimi performansı görünür etkiler.
Güvenlikte garip Unicode ve parçalanma oyunları tokenizer sınırlarını zorlayabilir.
Sık sorulanlar
Tokenizer modelin parçası mı?
Eğitim ve çıkarım boru hattının zorunlu parçasıdır; ağırlıklarla birlikte sürümlenmelidir.
Neden Türkçe daha çok token sürebilir?
Ekler ve eğitim corpus dengesi nedeniyle aynı anlam daha fazla alt-parçaya bölünebilir.