3_Validitas_Kredibilitas_dan_Verifikasi_Model

Definisi

• Valid — model dikatakan valid apabila dapat merepresentasikan sistem sebenarnya secara akurat. Jika model tidak valid, segala kesimpulan yang diambil darinya mempunyai nilai yang meragukan.
• Kredibel — model dikatakan kredibel bila sudah dianggap valid oleh para pengambil keputusan, atau dapat digunakan sebagai alat bantu pengambilan keputusan.
• Validasi model simulasi — proses pemeriksaan apakah model simulasi konseptual sudah merepresentasikan sistem yang menjadi kajian.
• Verifikasi — proses pemeriksaan apakah program komputer simulasi menghasilkan keluaran seperti yang diinginkan (apakah implementasi program sudah benar sesuai model konseptualnya).

Kronologi Validasi, Verifikasi, dan Penetapan Kredibilitas

Sistem → (analisa) → Model Konseptual → (pemrograman) → Program Simulasi → (buat model run) → Hasil yang Benar → (laporkan ke manager) → Hasil Dilaporkan
       validasi model              verifikasi                 validasi output              tetapkan kredibilitas

Contoh dampak model tidak valid: pada model M/M/1, jika salah membuat asumsi distribusi waktu antar kedatangan atau waktu proses, performansi hasil bisa jauh berbeda:

Distribusi waktu layanan	Rata-rata delay antrian	Rata-rata panjang antrian
Eksponensial	6.71	6.78
Gamma	4.54	4.60
Weibull	4.36	4.41
Lognormal	7.19	7.30
Normal	6.04	6.13

Dari tabel ini, distribusi Weibull memberi model waktu layanan terbaik, sedangkan lognormal yang paling buruk (jika dibandingkan terhadap asumsi/data acuan yang benar).

Petunjuk Umum Memilih Komponen Model

Pembuat model harus teliti memilih komponen sistem yang berpengaruh terhadap performansi yang dievaluasi (tidak harus berkorespondensi satu-satu dengan sistem nyata):

• Definisikan dengan teliti pokok yang dikaji/dievaluasi, cara model digunakan, dan alternatif konfigurasi sistem — pokok yang terlewat akan mengurangi kredibilitas model.
• Gunakan bantuan pakar dan lakukan analisis sensitivitas untuk menentukan level detail model.
• Kesalahan pemula: terlalu banyak melibatkan komponen kurang perlu — lebih baik mulai dari model yang kurang detail.
• Jangan terlalu detail, tapi kadang komponen “kurang perlu” tetap perlu dimasukkan untuk menambah kredibilitas.
• Tingkat detail model harus disesuaikan dengan ketersediaan data, biaya, dan waktu.
• Jika jumlah komponen terlalu besar, gunakan model kasar dulu sebelum model detail.
• Sebaiknya seorang manager diikutkan dalam perumusan model — menambah validitas dan kredibilitas.

Contoh: model antrian sistem pendaftaran semester perlu melibatkan jumlah mahasiswa, jumlah petugas, jumlah loket, waktu yang disediakan, dan perangkat layanan — tapi tidak perlu melibatkan jumlah dosen atau rasio mahasiswa/mahasiswi.

Verifikasi Program Simulasi

Beberapa teknik verifikasi program:

• Tuliskan program dalam modul-modul agar memudahkan debug.
• Libatkan lebih dari satu orang untuk menulis program (penulis program tahu betul algoritmanya, tapi bisa juga jadi blind spot).
• Run dengan berbagai parameter input, periksa kewajaran output — bandingkan dengan solusi analitis jika memungkinkan. Contoh: utilisasi sistem antrian server ganda dihampiri dengan $\rho =\lambda /(s\varpi )$ ($\lambda$ = laju kedatangan, $\varpi$ = laju layanan) — jika hasil program tidak jauh berbeda, hasil dianggap wajar.
• Lakukan trace (penelusuran) — untuk simulasi M/M/1, kronologi event dapat ditelusuri dengan mudah; jika ada event yang terjadi tidak sesuai kronologi, program tidak benar.
• RUN dengan data masukan paling sederhana yang bisa dihitung manual, dengan karakteristik yang sudah diketahui.
• Buat animasi jika memungkinkan.
• Lakukan analisis statistik untuk menentukan mean dan variansi sampel.
• Gunakan paket aplikasi simulasi jika tersedia, agar program tidak terlalu panjang.

Tiga Langkah Mengembangkan Model Simulasi yang Valid & Kredibel

1. Kembangkan model dengan validitas muka/tampilan yang tinggi — model yang dari luar sudah tampak merepresentasikan sistem yang dikaji (menurut pandangan orang berpengalaman). Didukung oleh: konsultasi dengan pakar, pengamatan sistem (data historis dari sistem serupa), penggunaan teori yang ada (bentuk distribusi statistik untuk data masukan/analisis keluaran), hasil yang relevan dengan model simulasi serupa, serta pengalaman & intuisi.
2. Lakukan test asumsi model secara empirik — test kuantitatif terhadap asumsi awal, disertai analisis sensitivitas. Contoh: parameter awal ditetapkan 0.75 (dari konsultasi pakar); setelah RUN didapat hasil 0.7 dan 0.8 — masih dalam rentang yang dapat ditoleransi.
3. Tentukan sejauh mana data keluaran simulasi merepresentasikan sistem yang dimodelkan — bandingkan keluaran dengan sistem serupa yang sudah ada; jika tidak jauh menyimpang, model dianggap valid.

Validasi Model dengan Kasus Sederhana (Teori Antrian)

Salah satu cara memvalidasi model simulasi adalah membandingkan hasilnya dengan solusi analitik teori antrian pada kasus-kasus sederhana yang sudah diketahui rumusnya.

M/M/1 (Single Server)

Traffic intensity $\rho =\lambda /\mu$ (rasio laju kedatangan terhadap laju layanan). Probabilitas idle awal $p_0=1-\rho$ (untuk $\rho <1$, sistem stabil). Utilisasi server $U_0=1-p_0=\rho$.

$E[N]=\frac{\rho }{1-\rho }Var[N]=\frac{\rho }{(1-\rho {)}^2}$

Menurut rumus Little (hukum umum teori antrian: rata-rata jumlah pelanggan dalam sistem = laju kedatangan × rata-rata waktu dalam sistem, $E[N]=\lambda E[R]$): $E[R]=\frac{1/\mu }{1-\rho }=\frac{\text{avg. service time}}{\text{prob. server idle}}$

M/M/m (Multi-Server Homogen)

Dengan $\rho =\lambda /(m\mu )$ sebagai syarat stabilitas ($\rho <1$), diperoleh $p_0$ dan $E[N]$ dari steady-state probabilities $p_k$ (probabilitas sistem berisi tepat $k$ customer dalam kondisi tunak/jangka panjang, untuk $k<m$ dan $k\ge m$). Menurut rumus Little: $E[R_c]=E[N_c]/\lambda$ (subscript $c$ = common queue, antrian bersama yang dipakai semua server pada sistem multi-server ini).

M/M/2 (2-Server Heterogen)

Jika laju layanan ${\mu }_1>{\mu }_2$, mesin yang lebih cepat dijadwalkan lebih dulu bila keduanya idle. Traffic intensity $\rho =\lambda /({\mu }_1+{\mu }_2)$.

Hasil Validasi: Simulasi vs Analitik

Perbandingan response time $E[R]$ hasil simulasi vs analitik untuk beberapa nilai inter-arrival time ($1/\mu =4$):

Kasus	Inter-arrival	Analitik	Simulasi	Std. dev.
M/M/1	4.5	36	30.638	27.4026
M/M/1	10	6.667	6.804	4.793
M/M/2	2.5	11.111	10.818	9.626
M/M/2	10	4.167	4.215	4.112
M/M/4	1.25	5.069	6.962	5.842
M/M/4	6	4.006	4.049	4.016

Pola yang teramati: makin besar inter-arrival time (makin longgar sistem, $\rho$ kecil), hasil simulasi makin dekat dengan analitik, dan standar deviasi mengecil. Sebaliknya, saat sistem hampir jenuh (inter-arrival kecil, $\rho$ mendekati 1), selisih simulasi-analitik dan variansinya membesar — ini konsisten dengan sifat sistem antrian yang makin tidak stabil/variatif mendekati kondisi jenuh. Kecocokan hasil simulasi terhadap rumus analitik pada kasus-kasus sederhana ini menjadi salah satu bentuk validasi model sebelum model dipakai untuk kasus yang lebih kompleks (tanpa solusi analitik).

Sumber

• Materi kuliah IF4021 Model dan Simulasi, minggu 4 (JS/2021).
• Judhi Santoso, Model Validation using Simple Cases, Technical Report, STEI ITB.

Flashcard

flashcards Apa perbedaan antara validasi model simulasi dan verifikasi program simulasi? :: Validasi memeriksa apakah model konseptual sudah merepresentasikan sistem nyata yang dikaji; verifikasi memeriksa apakah program komputer sudah menghasilkan keluaran sesuai yang diinginkan (implementasi sesuai model konseptual). Mengapa distribusi waktu layanan yang salah dipilih (mis. lognormal vs Weibull) bisa berakibat fatal pada hasil simulasi M/M/1? :: Karena performansi (rata-rata delay & panjang antrian) sangat sensitif terhadap bentuk distribusi input — pada contoh materi, lognormal memberi delay 7.19 sedangkan Weibull hanya 4.36 untuk sistem yang “sama”. Sebutkan tiga teknik verifikasi program simulasi :: Menulis program dalam modul-modul untuk memudahkan debug, melibatkan lebih dari satu orang untuk menulis program, dan melakukan trace (penelusuran kronologi event) — jawaban lain valid: run dengan parameter berbeda & bandingkan solusi analitik, run dengan data sederhana yang bisa dihitung manual, membuat animasi. Sebutkan tiga langkah pendekatan mengembangkan model simulasi yang valid dan kredibel :: (1) Kembangkan model dengan validitas muka/tampilan tinggi (konsultasi pakar, data historis, teori yang ada), (2) lakukan test asumsi model secara empirik (termasuk analisis sensitivitas), (3) tentukan sejauh mana data keluaran merepresentasikan sistem yang dimodelkan (bandingkan dengan sistem serupa). Mengapa melibatkan seorang manager dalam perumusan model dianggap penting? :: Karena keterlibatan manager (pengambil keputusan) menambah validitas dan kredibilitas model — kredibilitas sendiri didefinisikan sebagai “dianggap valid oleh pengambil keputusan”. Apa syarat stabilitas sistem antrian M/M/1 dan M/M/m dalam istilah traffic intensity ρ? :: Sistem stabil jika ρ < 1, dimana ρ = λ/μ untuk M/M/1 dan ρ = λ/(mμ) untuk M/M/m (m server homogen). Berdasarkan hasil validasi M/M/1, M/M/2, M/M/4, bagaimana pola kecocokan simulasi vs analitik seiring perubahan inter-arrival time? :: Makin besar inter-arrival time (sistem makin longgar/ρ kecil), hasil simulasi makin dekat dengan analitik dan standar deviasi mengecil; makin kecil inter-arrival time (mendekati jenuh), selisih dan variansi hasil simulasi membesar.