Bir yapay zeka, tek bir ev tipi GPU'da devasa modeli calistiriyor.
Orijinal başlık: Frontier AI on Your Own Hardware
KISACA
- Tek cümlede
- Arastirmaci Tim Dettmers ve ekibi, 125B parametreli Qwen 3.8 Flash'i 24GB GPU'da, 550B parametreli DeepSeek V4.1'i 128GB RAM'li makinelerde calistirdi.
- Bulgu
- CliffCompaction adini verdikleri sikistirma tekniği, AI maliyetlerini %50'ye kadar azaltiyor; bir ortak firma butcesini %45 dusurdu.
- Neden önemli?
- Maliyet dusus, kucuk ekiplerin de dev modelleri denemesini saglayarak arastirma alanini genisletiyor.
Ne oldu?
Araştırmacı Tim Dettmers'ın laboratuvarı, "Açık Kaynak Haftası" kapsamında iki açık kaynak proje ve dört akademik makaleyi birlikte yayınladı. Duyuruya göre sistem, 125 milyar parametreli Qwen 3.8 Flash modelini tek bir 24GB'lık GPU'da, 550 milyar parametreli DeepSeek V4.1'i ise 128GB bellekli makinelerde çalıştırabiliyor; 35B'lik Qwen modeli ağırlık başına 1,5 bit hassasiyetle saniyede 450 token üretebiliyor. "CliffCompaction" adını verdikleri sıkıştırma tekniği yapay zeka maliyetlerini yaklaşık %50 azaltıyor; bir ortak firma toplam yapay zeka bütçesinde %45 azalma bildirmiş. Ekibin otonom araştırma sistemi, bir biyoinformatik deneyinde iki saat içinde yerel donanımda dört yayınlanabilir sonuç üretmiş ve ekibe göre bu sistem Sakana AI ile Google'ın ScientistOne'ı gibi büyük laboratuvarların derin araştırma sistemlerini geride bırakıyor.
Artik dev AI'lar sadece super bilgisayarlarda degil, ev donaniminda da uretken.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Bir yapay zeka, tek bir ev tipi GPU'da devasa modeli calistiriyor.”, Notes for Data Science, 22 Eylül 2026.