Bir dil modelini sıfırdan eğitmek düz PyTorch ile mümkün.
Orijinal başlık: FareedKhan-dev /train-llm-from-scratch
KISACA
- Tek cümlede
- Bu GitHub projesi, ham metinden yanıt üretmeye kadar tüm eğitim hattını gösteriyor.
- Bulgu
- Yedi adım var: veri, mimari, ön eğitim, üretim, son eğitim, değerlendirme ve sohbet.
- Neden önemli?
- 13M, 77M ve 406M parametreli üç boyut var; 13M model tek bir T4 GPU'da eğitilebiliyor.
Ne oldu?
Bu GitHub projesi, bir dil modelini ham metinden yanıt üretmeye kadar sıfırdan eğitmeyi gösteriyor. Tüm algoritmalar yüksek seviyeli kütüphane olmadan düz PyTorch ile yazılmış. Akış yedi adımdan oluşuyor: veri hazırlama, mimari, ön eğitim, metin üretimi, son eğitim, değerlendirme ve sohbet. Ön eğitimde The Pile veri seti kullanılıyor. Son eğitimde SFT, ödül modelleme ve hizalama teknikleri var, değerlendirme GSM8K matematik problemleriyle yapılıyor. 13M, 77M ve 406M parametrelik üç model boyutu var. 13M model tek bir T4 GPU'da eğitilebiliyor.
Tüm algoritmalar yüksek seviyeli kütüphane olmadan düz PyTorch ile yazılmış.
Aynı haberin kısa dikey video özeti.
Bu notu kaynak göstererek alıntılayabilirsin: Hasan Amanet, “Bir dil modelini sıfırdan eğitmek düz PyTorch ile mümkün.”, Notes for Data Science, 21 Eylül 2026.