Yapılandırılmış Çıktı ve Şema Bağlılığı

Sorun

Dil modelleri doğal olarak serbest metin üretiyor. Bu, sohbet için doğal, ancak bir veritabanına kayıt veya bir API çağrısı için sorunlu.

Serbest metin, program tarafından ayrıştırıldığında hata olasılığı yüksek. Kısmi yanıtlar, fazladan açıklamalar ve geçersiz değerler sık görülüyor.

Şema kısıtlaması

Yapılandırılmış üretimde, modelin üretebileceği tokenlar şema tarafından kısıtlanıyor. Geçersiz bir token adayı, üretim sırasında eleniyor.

Bu, modelin geçersiz çıktı üretmesini yapısal olarak engelliyor. Çıktının geçerli olduğu, üretim tamamlanmadan garanti ediliyor.

Yöntem farkları

Bazı yaklaşımlar yalnızca sözdizimini kısıtlıyor. Model geçerli biçimlendirilmiş metin üretiyor ancak içeriği şemaya uymayabilir.

Daha güçlü yaklaşımlar anlamsal kısıtlamalar da uyguluyor. Model yalnızca şemadaki izin verilen değerleri üretebiliyor.

Performans etkisi

Kısıtlama, her adımda aday token değerlendirmesi gerektiriyor. Bu, üretim hızında bir miktar düşüşe yol açabiliyor.

Ancak geçersiz çıktı nedeniyle yeniden deneme maliyetleri genellikle daha büyük. Genel değerlendirmede yapılandırılmış üretim daha verimli bulunuyor.

Ne zaman uygun?

Çıktının ayrıştırılması ve doğrulanması gereken her durumda bu yaklaşım değerlidir. Veri çıkarımı, sınıflandırma ve araç çağrıları tipik örnekler.

Öte yandan, açık uçlu yaratıcı metin üretiminde şema kısıtlaması gereksiz ve zararlı olabiliyor.

• Serbest metin, program tarafından ayrıştırıldığında hata riski taşır
• Token kısıtlaması, geçersiz çıktıyı yapısal olarak engelliyor
• Sözdizimi kısıtlaması, anlamsal kısıtlamadan daha zayıf bir güvence veriyor
• Yaratıcı metin üretiminde şema kısıtlaması uygun değil

Sık sorulan sorular

Kaynakça

1. Outlines yapılandırılmış üretimWikipedia
2. JSON veri biçimiWikipedia
3. Veri doğrulamaWikipedia
4. Büyük dil modeliWikipedia
5. Tip güvenliğiWikipedia