AI Sözlük
Top-p (Nucleus Sampling) Nedir?
Top-p (nucleus sampling), olasılık kütlesinin belirli bir yüzdesini kapayan dinamik aday kümesinden sonraki token’ı seçer; sabit k yerine esnek kesim sunar.
Tanım
Top-p, dil modelinde decoding (sonraki token seçimi) stratejilerinden biridir. Model önce tüm kelime dağarcığı üzerinde bir olasılık dağılımı üretir. Top-p bu dağılımı en olası token’lardan başlayarak toplar; kümülatif olasılık p (örneğin 0,9) değerine ulaşınca kalan kuyruğu atar. Böylece aday sayısı duruma göre değişir: sivri dağılımda az, düz dağılımda daha çok token kalır. Top-k ise sabit sayıda aday tutar. İkisi de saçma kuyruk token’larını budamaya yarar. Sohbet ürünlerinde temperature ile top-p sıkça birlikte kullanılır; parametreleri rastgele oynatmak yerine tek tek ve metrikli ayarlamak daha sağlıklıdır.
Top-p=1 kuyruk kesmez (pratikte tam dağılım). Çok düşük top-p ise çıktıyı aşırı güvenli ve tekrarlı yapabilir.
Marka sesi yalnızca prompt ile değil, decoding politikasıyla da şekillenir. Kurumsal asistan ile yaratıcı yazım farklı top-p ister.
Sık sorulanlar
Top-p ile top-k farkı nedir?
Top-k sabit adet aday alır. Top-p olasılık kütlesine göre dinamik adet seçer.
Hangisini kullanmalıyım?
Birçok modern sistem T + top-p kombinasyonunu tercih eder. Göreve göre eval ile seçin.