67 sente, koca büyük dil modellerini geride bırakan bir yapay zeka nasıl eğitilir?
Orijinal başlık: I trained a small transformer in 1.5hrs and it beats many LLMs
KISACA
- Bulgu
- Bir geliştirici, sadece 1000 bulmaca ve 67 sentle küçük bir transformer eğitti; sonuç birçok büyük modeli geride bıraktı.
- Farkı yaratan
- model genel bilgiye değil, göreve özel örnek verimliliğine odaklandı.
Ne oldu?
Geliştirici Mithil Vakde, ARC (Abstraction and Reasoning Corpus) bulmacalarını çözmek için sıfırdan, önceden eğitilmiş ağırlık kullanmadan küçük bir transformer eğitti. 3D RoPE konumlandırma, görev başına gömme (embedding) ve renk/simetri permütasyonlarıyla veri artırma gibi teknikler kullanan model, sadece 1000 bulmaca ve 67 sentlik bir maliyetle yüzde 44 başarı oranına ulaştı - bu, aynı görevlerde büyük dil modellerinin çoğunu geride bırakan bir sonuç. Yazara göre büyük dil modelleri bu tür bulmacaları genel soyut akıl yürütmeyle değil, sentetik veri ve ince ayara dayanarak çözüyor.
Bazen kazanan, en büyük model değil en akıllı tasarımdır.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “67 sente, koca büyük dil modellerini geride bırakan bir yapay zeka nasıl eğitilir?”, Notes for Data Science, 3 Eylül 2026.