Milestone Machine Learning
Perjalanan panjang perkembangan Machine Learning yang melatarbelakangi mengapa MLOps dibutuhkan sekarang:
- 1950–1960an (Early Beginnings/foundations): Turing Test, Perceptron — pemecahan masalah sederhana.
- Knowledge Based Systems (70an–80an): representasi pengetahuan, logical reasoning, dan expert system; rule-based systems dan pengembangan backpropagation.
- Statistics and Neural Networks (akhir 1980an–1990an): SVM, Decision Trees, Boosting Methods.
- Big Data (2000an–2010an): proliferasi big data dan kemajuan computing power; CNN, RNN, Random Forests, Ensemble method.
- Modern Era (2010an–sekarang): big data dari internet dan open source data repository; Random Forest, Attention, Transformers; BERT dan GPT; kolaborasi antar-disiplin ilmu.
Tantangan Mengelola Model ML di Produksi
Konteks Deployment
- Deployment model ML melibatkan membuat model terlatih (trained model) dapat diakses untuk digunakan pada skenario dunia nyata.
- Proses ini biasanya terjadi setelah model dikembangkan dan dievaluasi di controlled environment (dev).
- Dev adalah environment yang ideal: tidak perlu khawatir men-tweak dan berdampak pada live data; data tidak bersumber langsung dari sumber eksternal, melainkan dari historical dataset yang dipakai saat training.
- Begitu model berkinerja baik → model ditransisikan ke production.
Tantangan #1: Data Drift
- Data dunia nyata berubah secara signifikan → menurunkan performa model → hasil menjadi tidak andal/tidak akurat.
- Model perlu diperbarui (updated) untuk mempertahankan performanya.
- Contoh: model risiko kredit berbasis data historis sebelum pandemi vs. setelah pandemi — pola perilaku finansial berubah drastis sehingga model lama tidak lagi relevan.
Tantangan #2: Explainability
- Banyak model ML bersifat blackbox, kompleks, dan sulit dipahami.
- Sulit mengidentifikasi error, melakukan debug, dan membangun kepercayaan (trust).
- Contoh: model bisa merekomendasikan course of treatment tertentu di bidang kesehatan, tapi tidak mampu memberikan penjelasan mengapa.
Tantangan #3: Infrastructure
- Men-deploy model membutuhkan infrastruktur khusus, seperti performa lebih tinggi atau data pipeline yang canggih.
- Scaling resource bisa mahal.
- Contoh: gangguan layanan (service disruption) akibat traffic berat yang tidak bisa direspons tepat waktu.
Tantangan #4: Security/Privacy
- Model ML rentan terhadap berbagai ancaman keamanan, seperti data breach, adversarial attack, dll.
Tantangan #5: Operational Overhead
- Mengelola model ML di produksi membutuhkan monitoring, logging, debugging, dan retraining yang berkelanjutan.
- Membutuhkan usaha dan keahlian yang terus-menerus (ongoing).
Tantangan #6: Governance and Compliance
- Harus mematuhi regulasi dan pertimbangan etis (ethical considerations).
Tantangan #7: Integration with Existing Systems
- Format data, API, dan sistem legacy yang tidak kompatibel.
Adversarial Attacks
Adversarial attack: manipulasi input data secara sengaja untuk menipu model agar menghasilkan prediksi/keputusan yang salah (atau tampak “benar” padahal seharusnya salah).
- Konsekuensinya vital di bidang keamanan (security), kesehatan (healthcare), dan transportasi.
- Jenis-jenis adversarial attack:
- Evasion Attacks — memanipulasi input saat inferensi agar model salah mengklasifikasikan.
- Poisoning Attacks — mencemari data training agar model yang dihasilkan cacat/bisa dieksploitasi.
- Model Extraction Attacks — mencuri/mereplikasi model melalui query berulang terhadap API-nya.
Overview MLOps
MLOps: sekumpulan practices + tools untuk menyederhanakan (streamline) dan mengoperasionalkan (operationalize) siklus hidup model ML.
- Menggabungkan prinsip dan tools dari DevOps dan DataOps.
- Memonitor, mengelola, dan mengatur (govern) workflow ML secara end-to-end.
- Memanfaatkan praktik CI/CD ke dalam workflow ML.
Secara konsep, MLOps adalah irisan dari tiga lingkaran: Machine Learning, Data Engineering, dan DevOps (mirip diagram di 2_MLOps_DataOps_Intro).
Komponen Kunci MLOps
Sepuluh komponen kunci yang membentuk MLOps:
- Version Control Systems
- CI/CD
- Automated Testing
- Model Monitoring and Logging
- Infrastructure Orchestration
- Reproducibility and Replicability
- Experiment Tracking and Management
- Model Versioning and Governance
- Collaboration and Communication Tool
- Security and Compliance Measures
Flashcard
flashcards Sebutkan 5 era utama dalam milestone perkembangan Machine Learning. :: Early Beginnings/Foundations (1950-1960an: Turing Test, Perceptron), Knowledge Based Systems (70-80an), Statistics and Neural Networks (akhir 80an-90an), Big Data (2000an-2010an), Modern Era (2010an-sekarang: Transformers, BERT, GPT). Mengapa environment “dev” dianggap ideal untuk model ML, dan apa yang berubah saat model masuk ke production? :: Di dev, tidak perlu khawatir dampak ke live data karena data berasal dari historical dataset training, bukan sumber eksternal langsung; saat masuk production, model harus menghadapi data dunia nyata yang terus berubah dan berinteraksi dengan sistem live. Apa itu Data Drift dan berikan contohnya. :: Perubahan signifikan pada data dunia nyata yang menurunkan performa model sehingga hasilnya jadi tidak akurat/tidak andal, memerlukan update model; contoh: model risiko kredit berbasis data historis sebelum pandemi menjadi kurang relevan setelah pandemi karena pola finansial berubah drastis. Sebutkan 3 jenis Adversarial Attack. :: Evasion Attacks (memanipulasi input saat inferensi), Poisoning Attacks (mencemari data training), dan Model Extraction Attacks (mencuri/mereplikasi model lewat query berulang). Apa definisi MLOps menurut overview di slide ini? :: Sekumpulan practices dan tools untuk menyederhanakan dan mengoperasionalkan siklus hidup model ML, menggabungkan prinsip dan tools dari DevOps dan DataOps, memonitor/mengelola/mengatur workflow ML end-to-end, serta memanfaatkan praktik CI/CD. Sebutkan minimal 6 dari 10 komponen kunci MLOps. :: Version Control Systems, CI/CD, Automated Testing, Model Monitoring and Logging, Infrastructure Orchestration, Reproducibility and Replicability (juga: Experiment Tracking, Model Versioning and Governance, Collaboration Tool, Security and Compliance Measures). Sebutkan 7 tantangan utama dalam mengelola model ML di produksi. :: Data Drift, Explainability, Infrastructure, Security/Privacy, Operational Overhead, Governance and Compliance, Integration with Existing Systems. Mengapa masalah Explainability menjadi tantangan penting bagi model ML di produksi? :: Karena banyak model ML bersifat blackbox, kompleks, dan sulit dipahami, sehingga sulit mengidentifikasi error, melakukan debug, dan membangun trust pengguna — misalnya model bisa memberi rekomendasi medis tanpa mampu menjelaskan alasannya.