AI Sözlük
Vocabulary (Sözlük Boyutu) Nedir?
Model vocabulary’si, bilinen token kimliklerinin kümesidir; çok büyük sözlük bellek ister, çok küçük sözlük aşırı parçalar.
Tanım
Vocabulary size, tokenizer sözlüğündeki benzersiz token sayısıdır (ör. 32K, 128K). Büyük vocabulary nadir kelimeleri tek parça tutabilir ama embedding matrisini şişirir. Küçük vocabulary her şeyi alt parçalara böler; dizi uzar. Çok dilli modellerde vocabulary dengesi kritiktir. Vocabulary değiştirmek modeli yeniden hizalamayı gerektirir.
Byte-level tokenizer’lar ham baytları da kapsayarak OOV’yi azaltır.
Kod ve URL’ler vocabulary’yi zorlayan girdilerdir.
Sık sorulanlar
OOV nedir?
Out-of-vocabulary: sözlükte olmayan girdi. Modern alt-sözcük tokenizer’larda nadirdir.
Daha büyük vocabulary daha mı iyi?
Trade-off vardır. Bellek ve veri dengesine bağlıdır.