9_Analisis_Data_Keluaran_Simulasi

Pendahuluan: Sifat Statistik Keluaran Simulasi

Kelemahan paling mendasar dari simulasi: dengan simulasi stokastik, kita tidak mendapat jawaban eksak dari satu run — dua run berbeda dari model yang sama menghasilkan hasil numerik yang berbeda. Keluaran performansi simulasi sebenarnya adalah observasi dari suatu distribusi probabilitas, sehingga kita perlu bertanya soal mean, variansi, probabilitas, dan quantile dari distribusi tersebut — inilah yang disebut analisis statistik data keluaran.

Kegagalan mengenali & menangani keacakan pada keluaran simulasi bisa berujung pada kesalahan serius, salah interpretasi, dan keputusan yang buruk. Perlu kehati-hatian memakai metode statistik yang tepat, karena data keluaran simulasi biasanya nonstasioner, terautokorelasi, dan non-normal — berbeda dari asumsi metode statistik IID klasik.

Sifat Statistik: Dalam Satu Run vs Antar Run

Misalkan $Y_1,Y_2,...$ adalah proses keluaran dari satu run simulasi (mis. $Y_i$ = delay antrian nasabah ke-$i$). Nilai-nilai $Y_i$ ini umumnya tidak independen maupun identik terdistribusi — metode statistik IID klasik tidak berlaku langsung.

Namun, jika kita membuat $n$ run independen (masing-masing memakai stream bilangan random terpisah, panjang $m$ observasi), maka dalam satu baris: tidak IID; tetapi antar kolom ke-$i$ (nilai $Y_i$ dari tiap run): IID (independent and identically distributed — independen dan terdistribusi identik) (meski belum tentu normal). Ini adalah dasar dari pendekatan replikasi.

Transient vs Steady-State

Untuk proses keluaran diskrit $Y_1,Y_2,...$, $F_i(y|I)=P(Y_i\le y\mid I)$ adalah distribusi transient pada waktu diskrit $i$, bergantung pada waktu $i$ dan kondisi awal $I$. Jika ada CDF $F(y)$ sehingga $F_i(y|I)\to F(y)$ untuk $i\to \infty$, untuk semua kondisi awal $I$, maka $F(y)$ adalah distribusi steady-state — distribusi ini tidak bergantung kondisi awal.

Meski distribusi steady-state tidak bergantung kondisi awal, kecepatan konvergensi transient menuju steady-state sangat bergantung pada kondisi awal (mis. M/M/1 dengan jumlah nasabah awal berbeda-beda memberi kurva $E(D_i)$ yang berbeda sebelum akhirnya konvergen ke nilai steady-state yang sama).

Tipe Simulasi Menurut Analisis Keluaran

• Terminating — parameter yang ditaksir didefinisikan relatif terhadap kondisi awal & kondisi berhenti (stopping condition) yang spesifik dan menjadi bagian dari model (mis. bank tutup jam 5 sore). Keluaran bergantung pada keduanya.
• Nonterminating — tidak ada event alami yang mengakhiri model; yang diinginkan adalah perilaku “jangka panjang” dari operasi normal. Jika parameter yang diinginkan adalah karakteristik dari distribusi steady-state, disebut parameter steady-state (secara teoretis tidak bergantung kondisi awal, tapi praktiknya run harus cukup panjang agar efek kondisi awal hilang). Tidak semua sistem nonterminating steady-state — bisa juga ada siklus periodik jangka panjang → parameter siklus steady-state.

Analisis statistik untuk simulasi terminating jauh lebih mudah dibanding steady-state.

Analisis Statistik untuk Simulasi Terminating

Strategi dasar: buat $n$ replikasi IID dari keseluruhan simulasi (kondisi awal sama, event berhenti sama, bilangan random terpisah tiap replikasi). Misalkan $X_j$ = ukuran ringkasan (summary measure) dari replikasi ke-$j$ (mis. rata-rata delay antrian pada replikasi tersebut). Maka $X_1,...,X_n$ adalah IID, dan statistik klasik bisa diterapkan langsung padanya (bukan pada observasi dalam satu run).

$\bar{X}(n)=\frac{\sum X_j}{n}\text{(penaksir tak bias untuk }\mu \text{)},S^2(n)=\frac{\sum (X_j-\bar{X}(n){)}^2}{n-1}$

Confidence interval (kira-kira, andalkan central limit theorem):

$\bar{X}(n)\pm t_{n-1,1-\alpha /2}\frac{S(n)}{\sqrt{n}}$

(subskrip $n-1$ pada $t$ adalah derajat bebas — berkurang satu dari banyaknya replikasi $n$ karena satu “jatah” kebebasan sudah terpakai untuk menaksir $\bar{X}(n)$ itu sendiri.)

Poin terpenting: “bahan baku” analisis statistik adalah ukuran performansi dari replikasi-replikasi yang berbeda dan independen — satu run simulasi utuh hanyalah “sample” berukuran satu (tidak berarti banyak secara statistik).

Contoh: $n=10$ replikasi M/M/1, $\bar{X}(10)=2.64$, $S^2(10)=3.96$, $t_{9,0.95}=1.833$ → CI 90%: $2.64\pm 1.15$, yaitu $[1.49,3.79]$.

Mengapa “Approximate”?

Asumsi $X_j$ normal tidak pernah benar-benar terpenuhi — namun central limit theorem menjamin cakupan (coverage) mendekati $1-\alpha$ seiring $n$ membesar. Studi robustness (seberapa tahan performa metode CI ini terhadap pelanggaran asumsi normalitas) menunjukkan coverage aktual bisa sangat bergantung pada model: pada model M/M/1 (dengan $X_j$ berupa rata-rata), coverage mendekati target (86-92% untuk target 90%); tapi pada model reliabilitas (dengan $X_j$ = waktu hingga gagal, lebih skewed), coverage jauh di bawah target (71-84%). Aturan umum: jika $X_j$ berupa rata-rata (dari data diskrit atau kontinu), distribusinya cenderung tidak terlalu asimetris, sehingga metode CI ini biasanya cukup baik.

Presisi yang Diinginkan

Half-width CI: $d(\alpha ,n)=t_{n-1,1-\alpha /2}\frac{S(n)}{\sqrt{n}}$. Untuk memperkecil (tanpa menaikkan risiko $\alpha$), satu-satunya cara praktis adalah menambah $n$ (jumlah replikasi) — via sequential sampling: tambah $n$ hingga $d(\alpha ,n)$ cukup kecil, baik secara absolut ($d(\alpha ,n)<\beta$) maupun relatif ($d(\alpha ,n)/\bar{X}(n)<\gamma$).

Ukuran Performansi Lain

• Proporsi — mis. proporsi delay $\ge 20$ menit; bisa dipandang sebagai kasus khusus mean (indikator biner).
• Variansi/simpangan baku — pakai distribusi chi-square untuk CI.
• Quantile — nilai $x$ sehingga $P(X_j\le x)=q$; ditaksir dari order statistics hasil $n$ replikasi.

Memilih Kondisi Awal

Kondisi awal memengaruhi hasil pada simulasi terminating, sehingga harus diinisialisasi secara realistis. Contoh: menaksir delay antrian bank antara jam 12–1 siang — bank kemungkinan sudah ramai di jam 12, sehingga memulai simulasi empty and idle di jam 12 akan bias hasil ke bawah. Solusi: (a) mulai simulasi dari jam buka (empty & idle), jalankan hingga jam 12, hapus statistik, lanjutkan pengumpulan data untuk jam berikutnya; atau (b) ambil data historis jumlah nasabah di jam 12, fit distribusi diskrit, pakai untuk inisialisasi tiap replikasi.

Analisis Statistik untuk Parameter Steady-State

Jauh lebih sulit dibanding kasus terminating. Pilihan desain run: banyak run pendek (seperti terminating — sederhana, IID, tapi bias akibat initial transient, dan perlu restart berulang) vs satu run panjang (bias lebih kecil, tidak perlu restart, tapi “sample” berukuran satu dan sulit menaksir variansi).

Masalah Initial Transient

Teknik paling umum: warm up model (initial-data deletion) — identifikasi titik $l$ (diskrit) atau $t_0$ (kontinu) di mana keluaran tampak sudah berhenti trending; hapus akumulator statistik pada titik itu, dan hitung ulang hanya dari titik tersebut. Tantangan: menentukan periode warmup yang cukup panjang (agar bias hilang) tapi tidak berlebihan (agar tidak boros data) — biasanya dilakukan dengan membuat plot dan menaksir titik potong secara visual (“eyeball”).

Pendekatan Replikasi/Deletion

Setelah warmup ditentukan, perlakukan seperti kasus terminating (replikasi IID, hitung mean & variansi antar replikasi). Kelebihan: sederhana, data benar-benar IID. Kekurangan: tidak ada metode yang benar-benar reliabel untuk menentukan warmup — jika terlalu pendek, $\bar{X}(n)$ jadi bias, dan makin banyak replikasi ($n\uparrow$) justru membuat CI makin sempit di sekitar titik yang salah (coverage makin turun — “bekerja lebih keras, hasilnya makin buruk”).

Pendekatan Lain untuk Satu Run Panjang

• Batch means — bagi satu run panjang ($m$ observasi) menjadi $n$ batch berukuran $k$ ($m=nk$); anggap rata-rata tiap batch ${\bar{Y}}_j(k)$ sebagai “IID” (butuh batch cukup besar agar antar-batch tidak terlalu berkorelasi). Praktiknya, jarang bermanfaat memakai lebih dari $n=20$–$30$ batch (batch makin kecil → makin berkorelasi, kualitas tiap batch turun meski derajat bebas naik).
• Time-series models — asumsikan model statistik (mis. ARMA($p,q$), autoregressive moving average: nilai saat ini dimodelkan sebagai kombinasi linear dari $p$ nilai masa lalu ditambah $q$ suku error masa lalu) untuk proses keluaran, taksir parameternya via regresi, lalu hitung variansi $\bar{Y}(m)$ dari model tersebut.
• Spectral analysis — pakai rumus variansi eksak berdasarkan asumsi proses covariance-stationary (mean konstan sepanjang waktu, dan kovariansi antar dua titik waktu hanya bergantung pada jarak/lag antar keduanya, bukan pada posisi waktunya); secara komputasi berat untuk $m$ besar tanpa Fast Fourier Transform (FFT — algoritma cepat untuk menghitung transformasi Fourier diskrit, dipakai mempercepat perhitungan tersebut).
• Regenerative method — jika proses bisa dibagi menjadi siklus IID (mis. tiap kali sistem M/M/1 kembali kosong & idle), taksir $\mu =E(Z_j)/E(N_j)$ dari sum & panjang tiap siklus. Landasan matematis kuat (validitas asimtotik terjamin), tapi butuh banyak siklus — bermasalah bila siklus cenderung panjang (kompleks).
• Standardized time series — “standardisasi” proses (analog standarisasi data univariat klasik) yang konvergen ke proses Brownian bridge (versi gerak Brownian/random walk acak kontinu yang “dipaksa” kembali ke titik nol di ujung interval waktunya, dipakai di sini sebagai distribusi limit acuan) — asumsi lebih longgar dibanding metode regeneratif.

Ringkasan: batch means, spectral analysis, dan standardized time series umumnya menunjukkan performansi baik (coverage & efisiensi data); batch means paling sederhana. Semua metode punya versi sequential untuk mengontrol lebar CI.

Parameter Siklus Steady-State

Kadang dikotomi terminating vs steady-state terlalu disederhanakan — mis. model manufaktur dengan shift 8 jam: performansi bisa berfluktuasi liar dalam satu shift (tidak steady-state pada level per-jam), tapi produksi per shift (agregat) menunjukkan pola steady-state. Solusinya: agregasikan data sehingga satu observasi $Y_i$ = hasil per siklus (mis. per shift), lalu terapkan metode steady-state di atas pada level siklus ini.

Beberapa Ukuran Performansi Sekaligus (Multiple Comparisons)

Jika ada $k$ ukuran performansi yang masing-masing ditaksir dengan CI terpisah pada level $1-{\alpha }_s$, maka menurut Bonferroni inequality:

$P(\text{semua CI mencakup target masing-masing})\ge 1-{\sum }_{s=1}^k{\alpha }_s$

Pilih ${\alpha }_s$ sehingga $\sum {\alpha }_s=\alpha$ (mis. ${\alpha }_s=\alpha /k$ untuk semua $s$, atau bobot berbeda untuk ukuran yang lebih penting). Masalahnya: untuk $k$ besar, ${\alpha }_s$ individual jadi sangat kecil, sehingga CI masing-masing jadi sangat lebar. Alternatif: metode multivariat (mis. multivariate batch means) yang menghasilkan region kepercayaan gabungan (bukan berbentuk kotak Bonferroni, tapi elips) — lebih kecil area/volumenya, tapi lebih kompleks & sulit diinterpretasi secara praktis.

Time Plot Variabel Penting

Ukuran ringkasan (mean, variansi, ekstrem, proporsi, quantile) di atas bisa menutupi pola dinamis penting dalam satu run (periodisitas, ledakan/explosion, efek pembelajaran/learning). Cara menangkap pola ini: plot proses keluaran (diskrit maupun kontinu) sepanjang waktu, atau memakai animasi.

Sumber

• Materi kuliah IF4021 Model dan Simulasi, minggu 10, berbasis A.M. Law & W.D. Kelton, Simulation Modeling and Analysis, Bab 9 (Output Data Analysis for a Single System).

Flashcard

flashcards Mengapa metode statistik IID klasik tidak bisa langsung diterapkan pada observasi Y_1, Y_2, … dalam SATU run simulasi? :: Karena observasi dalam satu run umumnya tidak independen (terautokorelasi) dan tidak identik terdistribusi (nonstasioner) — berbeda dari asumsi IID klasik. Bagaimana strategi replikasi mengubah data simulasi menjadi IID untuk keperluan analisis statistik? :: Dengan membuat n replikasi independen dari keseluruhan simulasi (kondisi awal & berhenti sama, bilangan random berbeda per replikasi), lalu mengambil satu ukuran ringkasan X_j per replikasi — X_1,…,X_n antar replikasi ini IID meski observasi DALAM tiap replikasi tidak IID. Apa perbedaan mendasar antara simulasi terminating dan nonterminating? :: Terminating punya kondisi awal & kondisi berhenti yang spesifik dan realistis sebagai bagian model (keluaran bergantung keduanya); nonterminating tidak punya event alami yang mengakhiri model, fokus pada perilaku jangka panjang/steady-state. Mengapa “satu run simulasi utuh” disebut sebagai “sample berukuran satu” yang tidak berarti banyak secara statistik? :: Karena bahan baku analisis statistik yang valid adalah ukuran performansi dari REPLIKASI yang berbeda dan independen, bukan observasi individual dalam satu run — satu run hanya memberi satu titik data (X_j) untuk keperluan estimasi antar-replikasi. Apa itu “initial transient” dan bagaimana teknik warm-up mengatasinya? :: Initial transient adalah periode awal simulasi di mana keluaran masih dipengaruhi kondisi awal dan belum mencapai steady-state; teknik warm-up mengidentifikasi titik waktu tertentu, menghapus akumulator statistik pada titik itu, dan hanya menghitung data setelahnya. Mengapa warmup yang terlalu pendek justru membuat confidence interval semakin buruk seiring jumlah replikasi ditambah? :: Karena X̄(n) menjadi estimator bias (bukan tak bias) untuk parameter steady-state sebenarnya; menambah n hanya mempersempit CI di sekitar titik pusat yang SALAH (E[X̄(n)] ≠ target), sehingga coverage probability justru turun. Jelaskan metode batch means untuk analisis satu run panjang, dan apa trade-off dalam memilih ukuran batch :: Satu run panjang (m observasi) dibagi jadi n batch berukuran k (m=nk); rata-rata tiap batch diperlakukan sebagai IID. Trade-off: batch terlalu kecil menyebabkan antar-batch masih berkorelasi (bias variansi ke bawah); praktiknya jarang bermanfaat memakai lebih dari 20-30 batch. Apa syarat utama agar metode regenerative bisa dipakai, dan apa kelemahan praktisnya? :: Proses harus regeneratif — bisa dibagi menjadi siklus-siklus IID (mis. tiap kali sistem M/M/1 kembali kosong & idle). Kelemahan: validitas asimtotik butuh banyak siklus, sedangkan pada model kompleks siklus bisa sangat panjang sehingga jumlah siklus yang teramati sedikit. Apa itu Bonferroni inequality dalam konteks multiple comparisons pada simulasi, dan apa kelemahannya untuk k besar? :: P(semua CI mencakup target) ≥ 1 - Σα_s, dengan memilih α_s per ukuran performansi sehingga totalnya sama dengan α keseluruhan. Kelemahan: untuk k (jumlah ukuran performansi) besar, α_s individual jadi sangat kecil sehingga CI masing-masing menjadi sangat lebar/tidak informatif.