Catatan Kuliah

3_Exercise_Transformer_Encoder

3 menit baca

Exercise on Transformer Encoder-Only for Text Classification (Without Normalization)

Soal / Brief

Course: Advanced Natural Language Processing (NLP). Disalin dari _Materi/NLP/ppt-baru/1790575069711_Exercise-on-Transformer-Encoder.pdf (3 halaman).

Task: Binary classification: spam vs. not spam. Pakai representasi akhir [CLS] sebagai input ke classification head.

Input tokens: [CLS], give, discount, [SEP]; ditetapkan ke Pos-0, Pos-1, Pos-2, Pos-3 secara berurutan.

Example target: “give discount” → spam

Instructions

  1. Dengan dimensi d_model = 4, jumlah head = 2, dan d_k = d_v, tentukan nilai d_k dan d_v.
  2. Diberikan token embedding untuk [CLS], give, discount, dan [SEP]:
[CLS]    = [1, 0, 1, 0]
give     = [0, 1, 1, 0]
discount = [1, 1, 0, 0]
[SEP]    = [0, 0, 1, 1]

Dan positional embedding untuk posisi 0 sampai 3:

Pos-0: [0, 0, 0, 0]
Pos-1: [0, 0, 1, 0]
Pos-2: [0, 1, 0, 0]
Pos-3: [0, 0, 0, 1]

Tuliskan matriks input X. 3. Matriks proyeksi berikut diberikan untuk dua attention head:

Head 1

W_Q(1) = [[1,0],[0,1],[1,0],[0,1]]
W_K(1) = [[1,0],[1,0],[0,1],[0,1]]
W_V(1) = [[1,0],[0,1],[1,0],[0,1]]

Head 2

W_Q(2) = [[0,1],[1,0],[0,1],[1,0]]
W_K(2) = [[0,1],[1,0],[0,1],[1,0]]
W_V(2) = [[0,1],[1,0],[0,1],[1,0]]

Matriks proyeksi output W_O adalah matriks identitas 4×4. Lakukan perhitungan Multi-Head Self-Attention lengkap sambil mengabaikan LayerNorm (yaitu, hanya terapkan residual connection dengan menambahkan output attention ke input X). 4. Hitung Feed-Forward Network (FFN) dengan ReLU dan bobot berikut. Tunjukkan output FFN dan terapkan residual connection.

W1 = I (identitas 4x4),  b1 = [0, 0, 0, 0]
W2 = [[ 1, 0, 0,-1],
      [ 0, 1,-1, 0],
      [ 0,-1, 1, 0],
      [-1, 0, 0, 1]],     b2 = [0, 0, 0, 0]
  1. Dengan bobot classification head berikut, proyeksikan vektor [CLS] akhir ke dua kelas output (spam dan not spam). Hitung logits, lalu terapkan softmax untuk mendapat probabilitas.
W_cls = [[ 1,-1],
         [ 0, 1],
         [ 1, 0],
         [-1, 1]],      b_cls = [0, 0]
  1. Nyatakan prediksi akhir untuk input “give discount”.

(Catatan: urutan dan nilai matriks di atas disalin dari render PDF, bukan teks asli; cek ulang ke PDF sebelum dipakai menghitung.)

Ketentuan / Yang Dikumpulkan

  • Tentukan d_k dan d_v (soal 1)
  • Tuliskan matriks input X (soal 2)
  • Hitung multi-head self-attention tanpa LayerNorm, termasuk residual (soal 3)
  • Hitung FFN (ReLU) dan residual (soal 4)
  • Hitung logits dan softmax dari [CLS] (soal 5)
  • Prediksi akhir untuk “give discount” (soal 6)
  • Format pengumpulan dan deadline: belum diketahui (brief tidak menyebutkan)

Progress & Catatan Pengerjaan

  • 2026-10-09 — Brief dicatat, belum dikerjakan. Deadline dan format pengumpulan tidak ada di PDF; perlu ditanyakan atau dicek di Edunex. Kebijakan kelas (lihat 1_Pengantar_Kelas): AI boleh untuk belajar tetapi secara default tidak boleh untuk mengerjakan tugas, jadi catatan ini hanya merekam soal. Bahan belajarnya ada di 5_Transformer_BERT (self-attention, multi-head, FFN, residual).

Files Terkait

Tampilan Grafik

Tautan Balik