LLM'ler kod hatalarını düzeltiyor mu? Derlenme oranı bir yanıltma mı?
Orijinal başlık: Metrics Failure in LLM-Based Code Vulnerability Repair: An Empirical Study and a Change-Aware Screen
KISACA
- Tek cümlede
- Araştırmacılar, 203 C/C++ fonksiyonunda LLM tabanlı otomatik yama denedi.
- Bulgu
- Deneylerde, yama derlense bile güvenlik açığı kapatılmadı; derlenme sadece bir göstergeydi.
- Neden önemli?
- Bu, LLM'lerle yama üretirken değişiklik‑duyarlı bir ölçüm yöntemi gerektiriyor.
Ne oldu?
Bir araştırma, büyük dil modellerinin C/C++ güvenlik açıklarını otomatik onarmasında yaygın kullanılan 'derlenme oranı' ölçütünün güvenilmez bir ilerleme göstergesi olduğunu 203 güvenlik açığı içeren fonksiyon üzerinde yapılan beş kontrollü deneyle gösteriyor. Çalışma, üretilen bir yamanın sadece derlenmesinin, açığı gerçekten güvenli ve doğru şekilde kapattığı anlamına gelmediğini ortaya koyuyor ve bunun yerine değişikliğe duyarlı bir değerlendirme yaklaşımı öneriyor.
Gelecek, bu yeni ölçütle yama kalitesini kontrol etmeye dayanacak.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “LLM'ler kod hatalarını düzeltiyor mu? Derlenme oranı bir yanıltma mı?”, Notes for Data Science, 23 Eylül 2026.