Döngüsel transformer'lar ile MoE aynı yasada ilk kez bir araya geldi, peki nasıl?
Orijinal başlık: Scaling Laws for Looped Mixture of Experts
KISACA
- Tek cümlede
- Araştırmacılar, 'Loop Scaling Laws' adlı yeni bir ölçekleme yasası sundu.
- Bulgu
- Döngü sabit parametreyle derinliği, MoE ise sabit hesaplamayla kapasiteyi büyütüyor.
- Neden önemli?
- Şimdiye dek bu iki yaklaşım literatürde hep ayrı ayrı ele alınıyordu.
Ne oldu?
Araştırmacılar, 'looped' (döngüsel) transformer'lar ile Mixture-of-Experts (MoE) mimarilerini bir araya getiren 'Loop Scaling Laws' adlı yeni bir ölçekleme yasası öneriyor. Döngüsel transformer'lar sabit parametre sayısıyla hesaplama derinliğini artırırken, MoE'nin seyrekliği sabit aktif hesaplama ile toplam kapasiteyi genişletiyor; bu çalışma, literatürde bugüne kadar ayrı ayrı modellenen bu iki yaklaşımı ilk kez birlikte ele alıyor.
NOTUM
Verimli ölçekleme artık tek bir yoldan değil, iki yoldan birden düşünülüyor.
BU NOTUN VİDEOSU
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Döngüsel transformer'lar ile MoE aynı yasada ilk kez bir araya geldi, peki nasıl?”, Notes for Data Science, 1 Ekim 2026.