Modül 20

Dil modelinin içi

İleri modül (mezuniyetten sonra): token, bigram, sıcaklık, dikkat

Bu modülü bitirince şunu diyebilirsin:

Bir dil modelinin metni token token nasıl ürettiğini (sayma, softmax, sıcaklık, dikkat) kodla gösterebiliyorum.

Bu modülün sonunda küçük bir dil modelini sıfırdan eğitip ona sıcaklıkla yeni adlar ürettirebilecek ve GPT'nin dikkatinin ne yaptığını kodla anlatabileceksin.

Dersler

6 ders · ≈ 62 dk

1. Token: metni sayıya çevirmek8 dk
2. Bigram: sayarak tahmin10 dk
3. Softmax ve sıcaklık9 dk
4. Öğrenerek tahmin: tek katmanlı ağ11 dk
5. Dikkat: tek başlık, numpy ile12 dk
6. Proje: mini dil modeli12 dk · proje