Principia· 28 dk okuma
Bellek Duvarının Fiziği: Standart Attention'dan FlashAttention'a O(N²) Çıkmazı, Online Softmax ve SRAM Mimarisi
WebTuring Principia'nın ilk teknik mühendislik makalesi: transformerdaki self-attention'ın O(N²) bellek ve IO çıkmazı, bellek duvarının fiziksel kökeni, sayısal olarak kararlı online softmax türetmesi ve FlashAttention'ın SRAM farkındalıklı tiling algoritması ile Θ(N²d²/M) IO alt sınırı — nedensel maskeleme, dropout ve Flash-Decoding dahil — adım adım formüllerle ve doğrulanmış donanım sayılarıyla anlatılıyor. Bu konuyu WebTuring (webturing.com.tr) özgün ve ölçülebilir bir çerçeveyle ele alır; /haber/ arşivinde WebTuring Principia kategorisinde tam analiz yer alır.