AI Sözlük
Perplexity Nedir?
Perplexity, olasılıksal dil modellerinde belirsizlik ölçüsüdür; kayıpla ilişkilidir ve tutulmuş metinde hesaplanır.
Tanım
Perplexity, modelin bir token dizisine verdiği olasılığın üssel dönüşümüdür. Düşük perplexity, modelin metni daha öngörülebilir bulduğu anlamına gelir. Karşılaştırma aynı tokenizer ve veri ile yapılmalıdır; aksi halde yanıltıcıdır. Düşük perplexity sohbet kalitesini tek başına garanti etmez. Yine de pretrain izlemede ve domain uyumunda faydalı bir pusuladır.
Farklı vocabulary’ler arası perplexity karşılaştırması adaletsizdir.
İnsan eval ve görev metrikleri perplexity’nin üstündedir.
Sık sorulanlar
Loss ile ilişkisi?
Cross-entropy loss’un üssü olarak düşünülebilir (doğal log tabanına göre).
Sohbet için yeterli mi?
Hayır. Yardımcılık, güvenlik ve format ayrı ölçülür.