Glosarium NLP

Rujukan cepat istilah NLP (IF5153). Definisi sengaja singkat dan boleh mengulang UTS_NLP; penjelasan lengkap ada di bagian yang di-link pada kolom ketiga (angka seperti 2.4 berarti bagian 2.4 di UTS_NLP). Istilah bertanda (P) adalah prasyarat yang tidak dijelaskan di materi (bagian 1 UTS_NLP, tambahan di luar materi kuliah). Cakupan saat ini: note 1, 2, 3, 5, 6, 7. Istilah umum SWE/AI/Data ada di Glosarium-Teknis; glossary tambahan khusus Sentence Comparison ada di akhir 7_Sentence_Comparison.

A. Dasar NLP dan Preprocessing

Istilah	Penjelasan singkat	Dijelaskan lengkap di
NLP	Metode, algoritma, dan representasi untuk memproses bahasa alami	2.1
CL (Computational Linguistics)	Mempelajari proses komputasional dalam bahasa	2.1
NLU / NLG / Text Analytics	Memahami teks / menghasilkan teks / menganalisis teks	2.1
Text classification	Seluruh teks → label	2.1, 2.2
Text comparison	Dua teks → label	2.1, 2.8
Sequential labeling	Tiap token → label token	2.1
Seq2seq	Teks → teks (generatif)	2.1
GLUE, SemEval, NLPProgress	Benchmark dan shared task NLP	2.1
ALPAC Report	Kritik 1966 terhadap MT yang menggeser riset	2.1
HMM, RST	Hidden Markov Model; Rhetorical Structure Theory	2.1
Supervised / unsupervised (P)	Belajar dari data berlabel / tanpa label	1
Spam filtering	Klasifikasi spam vs ham	2.2
Tokenization	Memecah teks jadi token	2.2
Lemmatization, stemming	Ke lema valid / dipotong ke stem	2.2
Morphological analyzer	Memecah kata jadi dasar dan afiks	2.2
Stop word elimination	Menghapus kata umum yang tidak informatif	2.2
Entity masking	Mengganti pola (URL, nomor telepon) dengan penanda	2.2
Sentence splitter, EOS	Penentu akhir kalimat	2.2
Word segmentation, Maximum Matching	Memecah teks tanpa spasi; algoritma greedy kata terpanjang	2.2
Vectorization	Mengubah fitur token menjadi angka	2.2
Bag of words	Vektor kemunculan kata tanpa urutan	2.2
Vector Space Model	Dokumen sebagai vektor dalam ruang term	2.2
TF, IDF, TF×IDF	Frekuensi term; kebalikan frekuensi dokumen; bobot term	2.2
Mutual Information	Ukuran kaitan term dan label untuk seleksi fitur	2.2
Naive Bayes (P)	Klasifier probabilistik dengan asumsi kata saling bebas	1
CNN (Kim, 2014)	Convolution plus max-over-time pooling untuk kalimat	2.2
RNN / LSTM, many-to-one	Proses sekuensial, satu output di akhir	2.2

B. Word Representation

Istilah	Penjelasan singkat	Dijelaskan lengkap di
One-hot	Vektor dengan satu angka 1 pada index kata	2.3
Distributed representation	Kata sebagai vektor padat; count-based atau predict-based	2.3
Count-based vs predict-based	Dari matriks co-occurrence vs dipelajari lewat prediksi	2.3
Word embedding	Vektor kata hasil prediksi; tanpa konteks atau dengan konteks	2.3
Eigenvalue, eigenvector (P)	Angka dan arah khusus sebuah matriks	1
SVD, LSI/LSA	Dekomposisi matriks; ruang makna laten	2.3
Singular value	Akar eigenvalue pada matriks diagonal S	2.3
Word2Vec: CBOW, Skip-gram	Prediksi target dari konteks / konteks dari target	2.3
Distributional hypothesis	Kata mirip muncul di konteks mirip	2.3
HAL	Co-occurrence window lokal, berbobot jarak, sensitif arah	2.3
Matriks R dan L	Konteks sesudah dan sebelum (L = R^T)	2.3
Variance-based selection	Pilih kolom bervarians tertinggi	2.3
LDA	Model generatif topik: dokumen campuran topik	2.3
θ (theta), φ (phi)	Proporsi topik per dokumen; distribusi kata per topik	2.3
Dirichlet, α	Distribusi pembangkit proporsi; α kecil = sparse	2.3
Gibbs sampling	Inferensi iteratif topik tiap kata	2.3
GloVe	Hybrid: statistik global, vektor dipelajari lewat gradient	2.3
X_ij, f(x), loss J	Co-occurrence simetris; fungsi bobot; fungsi kerugian GloVe	2.3
SGD, AdaGrad, gradient descent (P)	Optimisasi bertahap menurunkan loss	1
Learning rate (P)	Besar langkah update bobot	1
Cosine similarity	Kemiripan dua vektor lewat sudut	2.3, 2.8
Epoch	Satu putaran penuh atas data training	2.3

C. Transformer dan BERT

Istilah	Penjelasan singkat	Dijelaskan lengkap di
Transformer	Arsitektur encoder-decoder berbasis attention, paralel	2.4
Encoder, decoder	Membaca input sekaligus; menghasilkan output token demi token	2.4
Token, vocabulary, token ID	Potongan teks; tabel token ke ID; index tanpa makna	2.4
WordPiece, BPE, SentencePiece	Tokenizer BERT, GPT-2, Flan-T5	2.4
Embedding matrix	Tabel vektor tiap token, dipelajari saat training	2.4
Positional encoding	Vektor posisi (sin dan cos) dijumlahkan ke embedding	2.4
Query, Key, Value	Tiga proyeksi embedding untuk attention	2.4
Self-attention	Tiap token memperhatikan token lain dalam kalimat yang sama	2.4
Scaled dot-product	softmax(QK^T/√d_k)V	2.4
Multi-head attention	Attention paralel beberapa head lalu konkatenasi dan W^O	2.4
Masked self-attention	Skor posisi masa depan = −∞	2.4
Cross-attention	Key/Value dari encoder, Query dari decoder	2.4
Autoregressive (P)	Output langkah sebelumnya jadi input langkah berikutnya	1
Residual connection, LayerNorm (P)	Penambahan input ke output; normalisasi vektor	1
Feed Forward Network (FFN), ReLU (P)	Jaringan per posisi; fungsi aktivasi	1
Logits, softmax, argmax	Skor mentah; probabilitas; indeks tertinggi	2.4, 7_Sentence_Comparison
BLEU, F1, EM (P)	Metrik terjemahan, F1, exact match	1
FLOPs	Ukuran biaya komputasi training	2.4
BERT	Encoder-only Transformer untuk NLU	2.5
MLM	Masked Language Model: 15% token di-mask lalu diprediksi	2.5
NSP	Next Sentence Prediction: IsNext atau NotNext	2.5
[CLS], [SEP], [MASK]	Token khusus: ringkasan input, pemisah, penutup	2.5
Token / segment / position embedding	Tiga komponen embedding input BERT	2.5
Fine-tuning vs feature extraction	Latih ulang seluruh model vs BERT beku sebagai ekstraktor fitur	2.5
GLUE, SQuAD	Benchmark pemahaman bahasa dan QA	2.5
BERT-Base / BERT-Large	12 layer ~110 juta / 24 layer ~340 juta parameter	2.5
RoBERTa, ALBERT, SpanBERT, DistilBERT	Varian BERT	2.5
Distillation	Model murid meniru model guru	2.5
Class-weighted loss, dynamic padding	Teknik fine-tuning pada Lab Work 4	2.5

D. Decoder, Prompting, dan PEFT

Istilah	Penjelasan singkat	Dijelaskan lengkap di
LLM	Satu model besar untuk banyak task	2.6
Base model	Hasil pretraining murni; hanya melanjutkan dokumen	2.6
Prompt engineering	Menyusun prompt agar model melakukan task	2.6
Instruction, context, input data, output indicator	Empat elemen prompt	2.6
Zero-shot, few-shot	Tanpa contoh; dengan contoh berlabel di prompt	2.6
In-context learning	Belajar dari contoh di prompt tanpa gradient update	2.6
Chain-of-Thought (CoT)	Meminta langkah penalaran; few-shot-CoT, zero-shot-CoT	2.6
Auto-CoT	Demonstrasi CoT otomatis lewat clustering dan sampling	2.6
Self-Consistency	Ambil jawaban paling sering dari banyak rantai penalaran	2.6
Generate Knowledge Prompting	Bangkitkan pengetahuan dulu, lalu integrasikan untuk menjawab	2.6
Refusal rate	Persentase penolakan model terhadap prompt berbahaya	2.6
Pretraining / finetuning paradigm	Pretrain sebagai inisialisasi parameter, finetune ke task	2.6
Instruction finetuning, FLAN-T5	Finetune pada banyak pasangan (instruction, output)	2.6
Unseen tasks	Task yang tidak ada saat finetuning, untuk menguji generalisasi	2.6
RLHF (P)	Reinforcement learning dari umpan balik manusia	1
PEFT	Melatih sebagian kecil parameter, sisanya beku	2.7
Additive / selective / reparameterized / hybrid	Empat kategori PEFT	2.7
Adapter (serial, parallel, CoDA)	Layer kecil disisipkan di blok Transformer	2.7
AdapterFusion, MerA, Hyperformer	Penggabungan adapter multi-task	2.7
Soft prompt, prefix-tuning	Vektor learnable di depan input/key/value	2.7
(IA)³, SSF	Skala vektor learnable; scaling dan shifting	2.7
BitFit	Hanya melatih bias	2.7
LoRA, rank r	Matriks low-rank dilatih, di-merge ke bobot asli	2.7
DyLoRA, DoRA	Rank dinamis; dekomposisi magnitude dan direction	2.7
QLoRA, kuantisasi (P)	LoRA di atas model berpresisi rendah	1
PEFT pruning / quantization / memory-efficient	Arah efisiensi PEFT	2.7

E. Sentence Comparison

Istilah	Penjelasan singkat	Dijelaskan lengkap di
Sparse vs dense vector	Mayoritas 0/1 vs angka pecahan padat	2.8
Sentence embedding	Satu vektor dense mewakili kalimat	2.8
Pooling	Meringkas banyak vektor jadi satu	2.8
NLI: entail, contradict, neutral	Hubungan logis dua kalimat	2.8
Premise, hypothesis	Pernyataan acuan; pernyataan yang diuji	2.8
STS, STS-Benchmark	Skor kemiripan makna 0-5	2.8
SBERT	BERT di-fine-tune NLI lalu STS untuk sentence embedding	2.8
SimCSE	Contrastive learning dengan dropout (anchor dan positive)	2.8
Dropout	Mematikan neuron acak saat training	2.8, 7_Sentence_Comparison
Contrastive loss, temperatur τ	Mendekatkan pasangan positif; pengatur ketajaman softmax	2.8
Hard negative	Negatif yang mirip permukaan tetapi salah makna	2.8
Weakly supervised	Data berlabel longgar tetapi melimpah	2.8
E5	Contrastive pre-training plus supervised fine-tuning, prefix query/passage	2.8
BGE-M3	Multilingual, multi-functionality, multi-granularity	2.8
Dense / sparse / multi-vector retrieval	Tiga jenis retrieval BGE-M3	2.8
Hybrid retrieval	Skor gabungan berbobot tiga retrieval	2.8
Self-knowledge distillation	Belajar dari prediksi gabungan modelnya sendiri	2.8
Paraphrase identification, QNLI, RTE	Duplicate; entailment 2 kelas	2.8
Fact verification, stance detection	Supports/refutes; agree/disagree/discuss/unrelated	2.8
Cross-encoder	Dua kalimat satu input, akurat tetapi mahal	2.8
Bi-encoder	Tiap kalimat di-encode terpisah, bisa di-cache	2.8
|u−v|	Selisih absolut elemen-wise dua vektor sebagai fitur	2.8
Threshold	Batas skor untuk mengubah kemiripan jadi kelas	2.8
XLM-RoBERTa, XNLI	Encoder multilingual; dataset NLI 15 bahasa	2.8
Zero-shot classification dengan NLI	Label jadi hypothesis, pilih entailment tertinggi	2.8