Apple Silicon’da büyük dil modelleri, tahmini kod çözme ile aynı hızda çalışıyor mu?
Orijinal başlık: ashhart /TensorFold
KISACA
- Tek cümlede
- Araştırmacılar, TensorFold ile Apple Silicon ve Nvidia GPU’larda LLM’leri API üzerinden çalıştırdı.
- Bulgu
- Spekülatif kod çözmede yalnızca modelin gerçek tokeniyle aynı taslak kabul ediliyor; doğruluk kaybı yok.
- Neden önemli?
- Hız‑doğruluk dengesi, yerel LLM dağıtımını üretime hazır hâle getirerek bulut maliyetlerini düşürür.
Ne oldu?
TensorFold, Apple Silicon (MLX) ve Nvidia GPU'lar üzerinde büyük dil modellerini OpenAI uyumlu bir API üzerinden çalıştıran açık kaynaklı bir sunucu. Projenin öne çıkan özelliği, hız kazandırmak için kullanılan spekülatif kod çözme sırasında üretilen taslak tokenların, sadece modelin seri çalışmada üreteceği tokenle birebir aynı olduğunda kabul edilmesi - yani hız için doğruluktan ödün verilmiyor. Nemotron, Qwen, GLM ve Gemma gibi farklı model ailelerine özel çekirdekler ve doğrulama mekanizmaları barındırıyor. Ayrıca prompt önbellekleme ve yapılandırılabilir bellek bütçesi gibi özelliklerle yerel LLM dağıtımını üretime hazır hale getirmeyi hedefliyor.
TensorFold, yerel AI’yı bulut performansına yaklaştırıyor, kontrol tamamen sizde.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Apple Silicon’da büyük dil modelleri, tahmini kod çözme ile aynı hızda çalışıyor mu?”, Notes for Data Science, 29 Eylül 2026.