AI Sözlük
BERT Nedir?
BERT, 2018’de önerilen, iki yönlü bağlam gören encoder modelidir; cümle temsili ve NLU görevlerinde devrim yaratmıştır.
Tanım
BERT (Bidirectional Encoder Representations from Transformers), kelimeleri soldan ve sağdan bağlama bakarak temsil eder. Masked LM ile eğitilir; üretim odaklı decoder-only LLM’lerden farklıdır. Fine-tune ile sınıflandırma, NER, soru-cevap gibi görevlerde uzun süre SOTA olmuştur. Bugün generative LLM’ler manşette olsa da embedding ve retrieval’da BERT torunları hâlâ yaygındır.
RoBERTa, ALBERT, DistilBERT aileyi geliştirdi.
BERT tek başına uzun yaratıcı metin üreticisi değildir.
Sık sorulanlar
BERT chatbot mu?
Hayır. Temsil ve NLU için tasarlandı; sohbet için generative modeller kullanılır.
MLM nedir?
Masked language modeling: maskelenen token’ı bağlamdan tahmin.