Büyük dil modelleri kodun gerçek çalışmasını anlayabilir mi?
Orijinal başlık: Can LLMs Reason About Runtime Behavior? A Repository-Level Dynamic Benchmark
KISACA
- Tek cümlede
- Araştırmacılar SWE‑Flux adlı benchmarkla 12 Python deposunu test etti.
- Bulgu
- En iyi model sadece %37 doğru yanıt verdi, çoğu hata yaptı.
- Neden önemli?
- Modeller veri akışı ve fonksiyonlar arası yürütmede özellikle zorlanıyor.
Ne oldu?
SWE-Flux adlı yeni bir kıyaslama, büyük dil modellerinin kodun çalışma davranışını ne kadar anlayabildiğini ölçüyor. 12 gerçek Python deposundan 480 örnek içeriyor ve doğru cevaplar elle yazılmıyor, izlenen test çalıştırmalarından otomatik toplanıyor. Değerlendirilen beş modelden en iyisi yalnızca %37 doğruluğa ulaştı. Modeller değişmezler ve istisnalar gibi yerel davranışlarda daha iyi, veri akışı ve fonksiyonlar arası yürütmede zayıf kaldı.
NOTUM
LLM'lerin kod yürütme yeteneği hâlâ sınırlı; iyileştirme şart.
BU NOTUN VİDEOSU
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Büyük dil modelleri kodun gerçek çalışmasını anlayabilir mi?”, Notes for Data Science, 24 Eylül 2026.