Modül 27

Transformer'ı tamamla

İleri modül (mezuniyetten sonra): çok başlık, konum, LayerNorm, artık bağlantı, blok

Bu modülü bitirince şunu diyebilirsin:

Bir Transformer bloğunu numpy ile parça parça kurup şekillerini doğrulayabiliyorum; ön eğitimin ve ince ayarın ne yaptığını küçük bir modelde gösterebiliyorum.

Bu modülün sonunda bir Transformer bloğunun içindeki her parçayı kodla gösterebilecek ve bir GPT'nin ileri geçişindeki şekilleri izleyebileceksin.

Dersler

6 ders · ≈ 65 dk

1. Çok başlıklı dikkat11 dk
2. Sıra bilgisi: konum gömmesi10 dk
3. LayerNorm ve artık bağlantı10 dk
4. Bir blok11 dk
5. Ön eğitim ve ince ayar11 dk
6. Proje: mini GPT ve Colab köprüsü12 dk · proje

Pratik alıştırmaları

Derslerden bağımsız, kısa yazma alıştırmaları: Alıştırmalara git

1. Son token kime bakıyor?
2. Yığının sonundaki norm
3. LoRA ile küçük düzeltme