Büyük dil modelleri gizli komutları görmezden gelebilir mi?
Orijinal başlık: Heads of Security: Learned Attention Gates Improve Prompt Injection Robustness
KISACA
- Tek cümlede
- Araştırmacılar 'Heads of Security' adlı bir savunma geliştirdi; model güvenilir ve şüpheli metinleri ayırıyor.
- Bulgu
- Sadece birkaç dikkat başlığına öğrenilen kapılar ekleniyor, performans düşmeden saldırıyı etkisizleştiriyor.
- Neden önemli?
- Bu sayede modeller, dış kaynaklardan gelen gizli komutları çalıştırmadan güvenle okuyabiliyor.
Ne oldu?
Araştırmacılar, büyük dil modellerini prompt injection saldırılarına karşı korumak için 'Heads of Security' (HoS) adında yeni bir savunma yöntemi geliştirdi. Yöntem, modelin dikkat (attention) mekanizmasındaki bazı başlıklara özel olarak öğrenilen kapılar (gate) ekleyerek, güvenilir komutlarla güvenilmeyen (örneğin bir web sayfasından veya dokümandan gelen) metni birbirinden ayırıyor. Bu sayede model, güvenilmeyen içeriği okuyup üzerinde akıl yürütebiliyor ama onun içindeki gizli komutları yürütmeye kalkışmıyor. HoS, sadece az sayıda dikkat başlığını eğiterek modelin genel performansını bozmadan bu ayrımı sağlamayı hedefliyor.
Güvenlik artık modelin dikkat mekanizmasında, kapılarla sağlanıyor.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Büyük dil modelleri gizli komutları görmezden gelebilir mi?”, Notes for Data Science, 28 Ekim 2026.