8GB bir GPU, 540 milyon parametreli bir dil modeli çalıştırabiliyor mu?
Orijinal başlık: Show HN: Mini-AGI – Dynamic continual learning model trained on 8GB VRAM
KISACA
- Tek cümlede
- Araştırmacılar, uzman ağırlıklarını diske kaydedip gerektiğinde VRAM’e yüklüyor.
- Bulgu
- 540M parametre, 8GB VRAM’de; 169 uzman, 8 konu, 0.8336 nat/karakter performans.
- Neden önemli?
- Bu yöntem, büyük modelleri evdeki bilgisayarlara getirerek AI erişimini genişletebilir.
Ne oldu?
"Mini-AGI" adlı proje, tek bir 8GB VRAM'lik tüketici GPU'sunda sıfırdan eğitilen, byte seviyesinde çalışan ve sürekli öğrenen bir dil modeli. Sistem, uzman (expert) ağırlıklarını disk dosyaları olarak saklayıp gerektiğinde VRAM'e yüklüyor; böylece parametre sayısı VRAM yerine boş disk alanıyla sınırlanıyor ve 540 milyon parametreli bir model mütevazı donanımda çalışabiliyor. Unutmayı önlemek için ana gövde ağırlıkları, uzman ağırlıklarının 0.1 katı öğrenme hızıyla güncelleniyor; tek bir konuda (satranç) 524 bin karakter okunduğunda diğer konulardaki kayıp sadece 0.0067 nat artıyor. Proje şu ana kadar 318 milyon karakter okuyarak 169 uzman ile sekiz farklı konuda 0.8336 nat/karakter başarıya ulaştı.
Mini-AGI, donanım sınırlarını yeniden tanımlıyor; AI artık sadece veri merkezlerinde değil.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “8GB bir GPU, 540 milyon parametreli bir dil modeli çalıştırabiliyor mu?”, Notes for Data Science, 22 Eylül 2026.