Bağlam Ön Belleği ve Ön Eki Tekrarı

Tekrar eden maliyet

Bir sohbet uygulamasında sistem istemi, araç tanımları ve örnekler her istekte tekrar gönderiliyor. Bu içerik değişmiyor olabilir, ancak her seferinde yeniden işleniyor.

Bu, kullanıcı kullandıkça artan bir maliyet demek. Kısa sohbetlerde fark edilmeyebilir, ancak yüksek trafikte birikir.

Nasıl çalışır?

İsteğin başındaki değişmez bölüm, içeriğine göre bir anahtar türetilerek tanımlanıyor. Aynı anahtarla gelen sonraki isteklerde bu bölüm yeniden hesaplanmıyor.

Sistem, yalnızca değişen kısmı işliyor ve hesaplanmış ön kısmın sonucunu yeniden kullanıyor. Bu, uzun ön eklerde büyük kazanç sağlıyor.

Gecikme üzerindeki etki

Ön eki yeniden hesaplamak, özellikle büyük bağlamlarda belirgin bir zaman alıyor. Bu süre, kullanıcının ilk tokenı beklemesine doğrudan yansıyor.

Önbellek, bu hesaplamayı ortadan kaldırdığı için algılanan gecikme azalıyor. Özellikle araç tanımlarının uzun olduğu uygulamalarda fark büyük.

Ticari hizmetler

Bazı sağlayıcılar, istem ön eki önbelleğini otomatik olarak uyguluyor. İstemci, yeterli uzunlukta bir ön ek kullandığında indirim devreye giriyor.

Bu, uygulama tarafında özel bir çalışma gerektirmiyor. Ancak ne zaman devreye girdiği ve ne kadar tasarruf sağladığı sağlayıcıya göre değişiyor.

Tasarım önerileri

En faydalı yaklaşım, değişmeyen içeriği ön kısma, değişen içeriği son kısma koymak. Bu, önbelleğin isabet oranını artırıyor.

Ayrıca araç tanımları ve az kullanılan örnekler ön ekte tutulabiliyor. Bu, önbelleğin kapsamını genişletiyor.

• Değişmeyen ön içerik her istekte yeniden işleniyor
• Önbellek, aynı ön ekle gelen isteklerde hesaplamayı atlıyor
• Gecikme, özellikle uzun ön eklerde belirgin azalıyor
• Değişmeyen içerik başa, değişen içerik sona konmalı

Sık sorulan sorular

Kaynakça

1. İstem ön önbelleğiWikipedia
2. Önbellekleme stratejileriWikipedia
3. Büyük dil modeliWikipedia
4. Gecikme (mühendislik)Wikipedia
5. Token (dil modelleme)Wikipedia