En iyi model sadece yüzde 38,8 başarı gösterdi
Orijinal başlık: Real-SWE: Gerçek şirket kod tabanlarında yapay zeka testi
KISACA
- Tek cümlede
- Model performansı düşük En iyi model sadece yüzde 38,8 başarı gösterdi
- Neden önemli?
- Gerçek kod tabanları test edildi Şirket içi yazılım görevleri için AI değerlendiriliyor
- Bulgu
- En iyi model Fable 5.1 Yüzde 38,8 başarı ile öne çıktı
- Detay
- En sık hata eksik davranış Modeller gerekli bir adımı atlamış
- Sonuç
- Pahalı modeller daha iyi değil AI hâlâ uzman seviyesinde değil
Ne oldu?
Real-SWE adlı yeni bir benchmark, yapay zeka modellerini halka açık olmayan gerçek şirket kod tabanlarında test etti. Sekiz modelden en iyi sonucu yüzde 38,8 başarı oranıyla Fable 5.1 aldı, onu yüzde 33,8 ile GPT-6 Astra ve yüzde 31,2 ile Gemini 3.8 Flash izledi. Referans çözümler ortalama 11 dosyayı değiştirirken, modellerin en sık yaptığı hata gerekli bir davranışı eksik bırakmak oldu. Sonuçlar, daha pahalı modellerin her zaman daha iyi performans göstermediğini ve mevcut yapay zekaların gerçek kurumsal yazılım görevlerinde henüz uzman seviyesinde olmadığını ortaya koydu.
AI gerçek dünyada hâlâ yol alıyor
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “En iyi model sadece yüzde 38,8 başarı gösterdi”, Notes for Data Science, 13 Eylül 2026.