Görsel Doğruluk ile Fiziksel Doğruluk Arasındaki Uçurum

Model neyi eniyiliyor

Bir video modeli, kareler dizisini üretirken “bu sahnenin fizikçe mümkün olup olmadığı” sorusunu sormaz. Sorusu daha dar ve daha istatistiksidir: verilen önceki karelere benzeyen sonraki kare hangisidir.

Bu ayırım sonuçları belirler. Eğitim verisinde suyun düşüşünün binlerce örneği vardır; model bu örneklerin yüzeyini öğrenir. Oysa bir akışkanın davranışını belirleyen şey yüzey değil, kütle, hız ve basınç gibi görünmeyen durumlardır.

Model bu durumların hiçbirini tutmaz. Tutmadığı için de, görüntüsü kusursuz bir bardak suyu, kare kare fizik dışına çıkarabilir.

Neden kısa çekimler iyi, uzun sahneler kötü

Bir-iki saniyelik klipler çoğunlukla ikna edicidir, çünkü hareketin başlangıcı ezberlenmiş bir kalıptır. Sorun, kalıbın sürmesi gerektiğinde ortaya çıkar: model her adımda bir önceki hatayı da girdi olarak alır ve hata birikir.

Bu birikme fizik dilinde “durum kaçışı”dır. Doğru bir simülatör, kütle ve enerjiyi kareler arasında saklar. Üretici modelde saklanan yalnızca görüntüdür; dolayısıyla bir nesne kadrajdan çıkıp geri döndüğinde aynı hızla dönmesi garanti değildir.

Seyirci bunu bilinçli fark etmez ama hisseder. Uzun klip “bir şeyler ters gidiyor” duygusu verir; kısaltılmış hâli ise sorunsuz görünür. Kurgu, modelin zaafını maskeleyen en eski tekniktir.

İhlallerin ortak listesi

Temas anı kayar: iki nesne birbirine değmeden önce tepki verir, ya da değmeden ayrılır. Yerçekimi tutarsızlaşır; bir cisim düşerken yavaşlar. Yansımalar ve gölgeler ışık kaynağıyla uyuşmaz, çünkü model bunları ayrı kalıplar olarak öğrenmiştir.

En çarpıcısı topolojidir: parmak sayısı değişir, bir kumaş nesnenin içinden geçer, bir kapalı kapının ardı ansızın açılır. Hiçbiri tek karede görünmez; hepsi iki kare arasındaki ilişkidir.

Bu liste, modellerin “nesne kalıcılığı” denen şeyle hâlâ barışık olmadığını gösterir. Bir nesnenin varlığını sürdürmesi, model için öğrenilmiş bir kural değil, istatistiksel bir alışkanlıktır.

Fiziği içeri sokmanın üç yolu

Birincisi veri mühendisliğidir: fizik motorlarında üretilmiş sentetik videolar eğitime katılır. Gerçek görüntülerin kıt olduğu alanlarda işe yarar, ama model bu verinin kuralını değil yine görünümünü öğrenir.

İkincisi, görüntüyle birlikte saklı durum tahmin etmektir. Model kare üretirken bir yandan da sahnenin fiziksel değişkenlerini tahmine zorlanır; kayıp, görünce değil duruma bakarak hesaplanır. Yaklaşık fizik, tam fiziğe göre çok daha kolay bir hedeftir ve ölçümlerde belirgin düzelme sağlar.

Üçüncüsü simülatörü eşliğinde çalıştırmaktır: model sahneyi kurar, bir fizik motoru hareketi hesaplar, görüntü bu hareketin üstüne bindirilir. Bu melez yol, ticari prodüksiyonun şu an en güvenilir cevabıdır; pahalı ama tutarlıdır.

Neden önemli

Eğlencede fizik ihlali bir kusur, bir estetik garipliktir. Oysa hedef otonom sistemlerin eğitimi, robotik simülasyonu ve tıbbi modelleme olduğunda ihlal doğrudan tehlikedir: fizikçe yanlış bir dünya, yanlış karar üretir.

Bu yüzden “video modeli” ile “dünya modeli” ayrımı pazarlama değil teknik bir ayırımdır. Birincisi görüntü üretir, ikincisi durum tahmin eder. İkisini aynı cümlede anan iddialar, çoğu zaman birincisinin başarısını ikincisine sayar.

Sık sorulan sorular

Kaynakça

1. Video modellerinin fizik tutarlılığı ölçümleriarXiv
2. Üretici modellerde nedensellik tartışmalarıMIT Technology Review
3. Görüntü üretim araştırmaları bloguGoogle DeepMind