2_MLOps_DataOps_Intro

Dari DevOps ke MLOps + DataOps

Software berbasis Machine Learning (ML) punya karakteristik yang tidak dipunyai software konvensional, sehingga praktik DevOps saja tidak cukup — perlu diperluas menjadi MLOps (untuk sisi model) dan DataOps (untuk sisi data).

Karakteristik Khusus Software Berbasis ML

• Data dependency — software ML sangat bergantung pada data: ingestion, kualitas, konsistensi, dan sensitivitas data semuanya berpengaruh langsung ke perilaku sistem.
• Model drift — performa model bisa menurun (performance degradation) seiring waktu karena distribusi data berubah, sehingga perlu monitoring rutin dan retraining.
• Experimental & interaction — proses pengembangan model sifatnya eksperimental, sehingga butuh model version control & tracking.
• Specialized tools & techniques — perlu tools dan teknik khusus (berbeda dari software engineering biasa).
• Integration with data science teams — perlu integrasi kerja dengan tim data science.
• Model performance — perlu evaluasi berkelanjutan (continuous evaluation) dan feedback loop terhadap performa model.

MLOps

Motivasi

Survei menunjukkan menghasilkan model bukan cuma soal membangunnya — deployment memakan porsi waktu yang besar:

• 36% peserta survei: data scientist mereka menghabiskan seperempat waktu untuk deploy model ML.
• 36% peserta survei: menghabiskan seperempat sampai setengah waktu.
• 20% peserta survei: menghabiskan setengah sampai tiga perempat waktu.
• 7% peserta survei: menghabiskan lebih dari tiga perempat waktu.

Motivasi lain penerapan MLOps:

• Accelerated Time to Market — mempercepat waktu model sampai ke pengguna.
• Improved Model Performance — performa model lebih terjaga.
• Enhanced Collaboration — kolaborasi tim data science & engineering lebih baik.
• Reduced Risk — risiko kegagalan produksi berkurang.
• Scalability — sistem ML lebih mudah diskalakan.

Manfaat MLOps

• Increased Efficiency
• Improved Model Reliability
• Enhanced Governance
• Cost Reduction
• Competitive Advantage

Definisi MLOps

MLOps adalah padanan DevOps untuk Machine Learning Engineering, sebagaimana DevOps adalah untuk Software Engineering. MLOps mencakup developing, testing, deploying, monitoring, dan operating sistem Machine Learning dengan prinsip dan praktik DevOps. MLOps juga bergantung pada integrasi dan otomasi seperti halnya DevOps.

Secara konsep, MLOps adalah irisan dari tiga domain: Machine Learning, Data Engineering, dan DevOps.

Tasks dalam MLOps

• Data: gathering/collecting/processing raw data, analysis, preparation.
• Model: development, serving, health monitoring.
• Orchestration and Governance.

Alur (Flow) MLOps

Alur end-to-end MLOps: Data Sourcing → Data Analysis → Data Preparation → Model Management (berisi loop Experimentation and Tracking: Model Development ↔ Model Evaluation ↔ Model Versioning) → Model Deployment → Model Serving, yang terus dipantau oleh Model Health Monitoring dan Governance, dengan Model re-training & iteration yang looping balik ke Data Sourcing, semuanya dipayungi oleh Orchestration.

Model Development (7 Langkah)

1. Establish business objectives — menetapkan tujuan bisnis.
2. Data Sources — menentukan sumber data.
3. Exploratory Data Analysis (EDA).
4. Feature Engineering and Selection.
5. Training and Evaluation.
6. Validation.
7. Reproducibility.

Deployment and Serving

Model yang sudah tervalidasi di-deploy ke target environment. Opsinya:

• Microservices dengan REST API untuk online prediction.
• Embedded model ke edge/mobile device.
• Bagian dari batch prediction system.

Monitoring

Performa model dipantau untuk berpotensi memicu iterasi baru dalam proses ML (retraining).

Tingkat Kematangan (Maturity Level) MLOps [Google Cloud]

Level	Nama	Ciri-ciri
Level 0	Manual	Proses manual, script-driven, tidak ada CI/CD; ada disconnect antara tim ML dan operations; rilis jarang (infrequent); kurang monitoring performa aktif.
Level 1	ML Pipeline Automation	Pipeline eksperimen sudah terorkestrasi dan otomatis (data extraction/validation/preparation, training, evaluation, validation) yang dipicu otomatis, dengan feature store dan ML metadata store, serta performance monitoring yang feed-back ke trigger.
Level 2	CI/CD Pipeline Automation	Level tertinggi: source code masuk CI (build, test, package pipeline components) lalu CD (pipeline deployment, model serving), sepenuhnya otomatis dari commit source code sampai model serving di produksi.

DataOps

Definisi

DataOps mempertemukan orang-orang yang mengumpulkan dan menyiapkan data, orang-orang yang menganalisisnya, dan orang-orang yang memanfaatkan hasil analisis tersebut untuk kepentingan bisnis.

DataOps adalah sekumpulan praktik, prosedur, dan teknologi manajemen data yang menggabungkan pendekatan integrated dan process-oriented terhadap data, bertujuan meningkatkan kualitas, kecepatan, dan kolaborasi, serta menghasilkan data products dan data apps.

Key Roles

• Developers
• Data Engineers
• Analysts
• Data Scientist
• Business Users

Pentingnya Data dan Data Operations

• Data adalah aset kunci di masa sekarang.
• Data-driven decision making secara signifikan meningkatkan kesuksesan bisnis.
• Tujuan DataOps adalah menyederhanakan (streamline) operasi data dan analitik, sehingga:
  • Data bisa disuplai lebih cepat.
  • Kualitas data lebih tinggi.
  • Operasional data lebih stabil dan terpercaya.
• Tantangan: fragmented data landscapes, tools & teknologi yang terpisah-pisah, perubahan kebutuhan bisnis yang cepat dan (kurangnya) standar.

Motivasi

• Data bukan sesuatu yang statis:
  • 3V: Volume, Velocity, Variety.
  • Task terhadap data juga tidak statis: Analytics, Transactional, Machine Learning.
• Teknologi saja tidak cukup — dibutuhkan agilitas yang lebih besar.

Tantangan Lain

• Demand (permintaan) selalu melampaui kapasitas.
• Proses dan teknologi yang sudah usang.
• Tim bisnis “melompati” tim data (business teams go around data teams).
• Compliance yang terus berubah.
• Tantangan Data Governance: standar, kepatuhan (compliance), dan kepemilikan (ownership) data.

Task dalam DataOps

• Planning: Define Goals and Objectives, Identify Data Sources, Establish Data Quality Standards.
• Development: Data Extraction, Data Transformation (cleaning, normalisasi), Data Loading (ke data warehouse/data lake).
• Testing: Data Quality Checks (integritas, akurasi, konsistensi), Data Validation (kepatuhan terhadap standar/constraint).
• Deployment: Data Pipeline Deployment (deploy ETL ke production), Monitoring and Logging.
• Operations: Data Management, Data Governance (menegakkan kebijakan & standar data), Data Security (melindungi data sensitif).
• Feedback and Improvement: Collect Feedback, Analyze Performance, Iterate and Refine.

Hubungan MLOps dan DataOps

• Data as a Foundation — DataOps menjadi fondasi bagi MLOps dengan memastikan suplai data yang andal dan konsisten; data berkualitas tinggi esensial untuk melatih dan mengevaluasi model ML.
• Integrated Workflow — DataOps dan MLOps sering bekerja dalam satu alur terintegrasi: pipeline DataOps menyiapkan data untuk ML, sedangkan praktik MLOps diterapkan untuk men-deploy dan mengelola model yang dihasilkan.
• Shared Goals — keduanya berbagi tujuan meningkatkan efisiensi dan efektivitas proyek berbasis data, sama-sama menekankan otomasi, kolaborasi, dan continuous improvement.

Flashcard

flashcards Sebutkan 5 karakteristik khusus software berbasis ML yang membuat DevOps biasa tidak cukup. :: Data dependency, model drift, experimental & interaction (perlu model versioning), specialized tools & techniques, integrasi dengan tim data science, dan continuous evaluation performa model. Apa definisi MLOps? :: Padanan DevOps untuk Machine Learning Engineering — mencakup developing, testing, deploying, monitoring, dan operating sistem ML dengan prinsip & praktik DevOps, juga bergantung pada integrasi dan otomasi. MLOps adalah irisan dari tiga domain apa? :: Machine Learning, Data Engineering, dan DevOps. Jelaskan perbedaan MLOps Level 0, 1, dan 2 menurut Google Cloud. :: Level 0 (Manual): script-driven, tanpa CI/CD, rilis jarang. Level 1 (ML Pipeline Automation): pipeline eksperimen dan training sudah otomatis/terorkestrasi dengan feature store & metadata store. Level 2 (CI/CD Pipeline Automation): source code masuk CI/CD penuh dari build-test-package hingga deployment pipeline dan model serving otomatis. Apa definisi DataOps? :: Sekumpulan praktik, prosedur, dan teknologi manajemen data yang menggabungkan pendekatan integrated dan process-oriented terhadap data untuk meningkatkan kualitas, kecepatan, dan kolaborasi, serta menghasilkan data products dan data apps. Sebutkan 3V yang menjadi motivasi DataOps. :: Volume, Velocity, Variety. Sebutkan 5 key roles dalam DataOps. :: Developers, Data Engineers, Analysts, Data Scientist, Business Users. Bagaimana hubungan antara DataOps dan MLOps? :: DataOps menjadi fondasi data untuk MLOps (data as a foundation), keduanya bekerja dalam integrated workflow, dan berbagi tujuan yang sama yaitu otomasi, kolaborasi, dan continuous improvement.