Model cevap vermese de, hâlâ ne bildiğini gösteriyor.
Orijinal başlık: A Lie Detector Test for Language Models: Reading Knowledge a Model Won't Reveal
KISACA
- Tek cümlede
- Araştırmacılar, adli bilimden uyarlanan gizli bilgi testini geliştirdi.
- Bulgu
- Sekiz model, %70‑%87 doğrulukla sakladıkları cevapları ortaya çıkardı.
- Neden önemli?
- Bu, yapay zekanın kasıtlı aldatmasını tespit edip güvenliği artırabilir.
Ne oldu?
Bu çalışma, dil modellerinin raporlamadığı bilgiyi içeriden okumaya çalışıyor. Yöntem, adli bilimdeki Gizli Bilgi Testi'nden uyarlanmış ve modelin iç durumlarına bakıyor, çıktısına değil. Beş aileden sekiz modelde (Gemma, Qwen, Llama, Mistral, Phi) doğru cevabı 0,70 ile 0,87 dengeli doğrulukla geri buluyor. Karşılaştırma seviyesi 0,25-0,40 civarında. Model bilerek cevabı gizlese bile, istemle aldatma ve eğitilmiş sandbagging dahil, tanıma 0,85-0,93 aralığında kalıyor. Bilgi silinince ise tanıma, model o soruyu hiç bilmiyormuş gibi düşüyor. Yöntem referans model ya da etiketli veri gerektirmiyor.
Gelecek, modellerin neyi sakladığını ölçmekle şekillenecek.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Model cevap vermese de, hâlâ ne bildiğini gösteriyor.”, Notes for Data Science, 21 Eylül 2026.