Aynı LLM görevinde token harcaması on kat fark gösterebilir.
Orijinal başlık: TokenCast: Forecasting Token Consumption During LLM Agent Execution
KISACA
- Tek cümlede
- Bilim insanları, bu dalgalanmanın araç geri bildirimi ve artan bağlamdan kaynaklandığını belirledi.
- Bulgu
- Token tüketimi aynı görevi her çalıştırdığında on katına kadar çıkabiliyor.
- Neden önemli?
- Bu, projelerin bütçesini önceden kestirmeyi zorlaştırıyor, beklenmedik maliyet artışlarına yol açıyor.
Ne oldu?
Araştırmacılar, bir yapay zeka ajanının aynı görevi her çalıştırışında token tüketiminin on kattan fazla değişebildiğini ortaya koydu. Bunun nedeni, ajanın bir sonraki adımını araçlardan gelen geri bildirime ve ara sonuçlara göre seçmesi ve büyüyen bağlamın her yeni çağrının girdi boyutunu şişirmesi. Bu değişkenlik, bir görevin toplam maliyetinin çalıştırmadan önce tahmin edilmesini son derece zorlaştırıyor. TokenCast adlı yeni yöntem, tam da bu token tüketimini görev çalışmadan önce tahmin etmeyi hedefliyor.
TokenCast, bu belirsizliği önceden tahmin ederek maliyet riskini azaltmayı hedefliyor.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Aynı LLM görevinde token harcaması on kat fark gösterebilir.”, Notes for Data Science, 29 Eylül 2026.