Definisi Metadata
Metadata = “Data about Data” (data tentang data).
Data tidak dapat dikelola tanpa metadata.
Motivasi Metadata (Versi Singkat)
- Memberikan context dan memungkinkan pengukuran data quality.
- Regulatory compliance.
- Mengurangi data yang redundan.
Motivasi Metadata (Versi Lengkap)
- Provide Context — membuat data mudah dipahami, terstandarisasi, dan bisa ditemukan (discoverable).
- Ensure Data Quality — memungkinkan validasi, pelacakan lineage, dan root-cause analysis.
- Support Compliance — mengelola governance, privasi, dan kebutuhan regulasi.
- Reduce Redundancy — mencegah pipeline duplikat dan mendorong penggunaan ulang (reuse) dataset.
- Enable Integration — memfasilitasi aliran data yang lancar dan interoperabilitas lintas sistem.
- Improve Reliability — menggerakkan observability dan impact analysis untuk data pipeline.
- Optimize Performance — mendorong keputusan storage, pemrosesan, dan tuning yang efisien secara biaya.
Tiga Jenis Metadata (Berdasarkan Domain)
- Operational — metadata dari operasional sistem sehari-hari.
- Business — metadata yang berkaitan dengan makna dan aturan bisnis.
- Technical — metadata teknis dari sistem/infrastruktur.
Contoh Tiap Jenis
| Jenis | Contoh |
|---|---|
| Technical | Nama tabel/kolom fisik, access permission/roles/groups, dokumentasi data lineage, nama & deskripsi program/aplikasi, definisi skema format file |
| Operational | Log batch job, history & extract results, error log, slow query log, usage pattern |
| Business | Business rules, kalkulasi, informasi kontak stakeholder, data standards, data quality rules, level security/privasi data |
Detail Technical Metadata
- Schema Harvesting — otomasi pengumpulan nama tabel/kolom, tipe data, constraint.
- Access Control — mendefinisikan dan mengelola role user, permission, security group.
- Lineage Tracking — mendokumentasikan aliran data dari source ke target, termasuk transformasinya.
- Performance Metrics — menangkap log query, waktu eksekusi, dan penggunaan index.
- Tambahan untuk Unstructured Data:
- File Format & Schema — mendokumentasikan jenis file (PDF, JSON, XML), encoding, struktur internal.
- Extraction Methods — mencatat bagaimana data diekstrak (OCR, NLP parsing, API call).
- Storage Location — melacak path di data lake, object store, atau content management system.
- Access Permissions — mengelola pengaturan keamanan untuk file dan folder.
Detail Business Metadata
- Business Glossary — menghubungkan kolom fisik dengan istilah dan definisi bisnis.
- Data Quality Rules — mendefinisikan aturan validasi (uniqueness, completeness) untuk field kritis.
- Data Ownership — menetapkan data steward dan informasi kontak untuk dataset.
- Regulatory Tags — mengklasifikasikan data untuk kepatuhan (PII, GDPR, HIPAA).
- Tambahan untuk Unstructured Data:
- Content Tags — kata kunci, topik, kategori (misal “invoice”, “customer feedback”, “research paper”).
- Source & Origin — asal-usul data unstructured (website, email, IoT device).
- Retention Policies — berapa lama jenis data unstructured tertentu harus disimpan.
- Sensitivity Labels — menandai dokumen yang berisi informasi sensitif/rahasia.
Detail Operational Metadata
- Job Logs — status job ETL/ELT, waktu mulai/selesai, error rate.
- Data Freshness — melacak waktu update terakhir dan usia data pada tabel.
- Usage Patterns — memantau frekuensi query dan akses user untuk mengidentifikasi dataset populer.
- Change History — mencatat modifikasi skema dan perubahan DDL (Data Definition Language).
- Tambahan untuk Unstructured Data:
- Ingestion Logs — kapan file ditambahkan, oleh siapa, status pemrosesan.
- Version Control — melacak perubahan dokumen dan versinya.
- Processing Status — apakah data sudah di-index, dianalisis, atau di-enrich.
- Usage Analytics — memantau siapa mengakses dokumen apa dan seberapa sering.
Data Unstructured
- Semua data sebenarnya punya semacam struktur.
- Namun, secara definisi, data yang bukan berupa database atau datafile dianggap sebagai unstructured.
- Metadata untuk data unstructured bahkan lebih penting dibandingkan untuk data structured — karena tanpa metadata, data unstructured (dokumen, gambar, dsb.) sangat sulit dicari, dipahami, dan dikelola.
Sumber Metadata (Metadata Sources)
Metadata bisa dikumpulkan dari banyak sumber, atau di-harvest dari aplikasi yang sudah mengelola metadatanya dengan baik. Contoh sumber:
- Business glossary
- Data dictionary
- Service registries
- Tools: software configuration management tools, BI tools, DI (Data Integration) tools, event messaging tools, modeling tools.
Ilustrasi: Kasus Nomor Telepon
Contoh nyata mengapa metadata sangat dibutuhkan — data yang sama secara konsep (nomor telepon) punya format berbeda-beda dari berbagai sumber, dan kriteria kualitas yang tidak jelas:
| Source | Attribute Name | Record Format |
|---|---|---|
| CRM-1 | Tel. | (xxx) xxx-xxxx |
| CRM-2 | Phone_Number | xxxxxxxxx |
| Excel-1 | Phone | (xxx) xxx-xxxx |
| Excel-2 | Telephone Number | xxx.xxx.xxxx |
| POS-1 | Cell | xxx xxx xxxx |
| DataLake | Phone_Number | xxx-xxx-xxxx |
Tanpa metadata yang menjelaskan format, arti, dan aturan kualitas tiap field ini, mustahil mengintegrasikan atau membersihkan data nomor telepon tersebut secara konsisten.
Tiga Jenis Metadata (Berdasarkan Fungsi — Venn Diagram)
Klasifikasi lain dari metadata (berbeda sudut pandang dari Operational/Business/Technical di atas), berdasarkan pertanyaan yang dijawabnya:
- Descriptive — Apa artinya data ini? Siapa pemiliknya? Apa isinya? Kapan dipublikasikan?
- Structural — Bagaimana hubungannya dengan dataset lain? Bagaimana ia diorganisasi? Apa key-nya? Apakah sudah terurut (sorted)?
- Administrative — Kapan dibuat/dimodifikasi/diarsipkan? Siapa yang bisa mengaksesnya? Seberapa besar ukurannya?
Ketiga jenis ini saling beririsan — sebuah metadata bisa menjawab lebih dari satu kategori pertanyaan sekaligus.
Karakteristik Metadata yang Efektif
- Descriptive — menjelaskan dengan jelas apa itu data dan cara memakainya.
- Structural — mendefinisikan relasi, format, dan organisasi data.
- Administrative — menangkap detail lifecycle, kebijakan akses, dan aturan compliance.
- Consistent and Standardized — mengikuti format yang disepakati bersama lintas tim dan sistem.
- Automated and Scalable — menggunakan tools cerdas untuk menghasilkan dan memelihara metadata secara efisien.
- Supports Self-Service — memungkinkan pengguna menemukan, mengeksplorasi, dan memanfaatkan data secara mandiri.
Tantangan Pengelolaan Metadata
- Inconsistency Across Sources — kurangnya format terstandarisasi menyebabkan metadata terfragmentasi.
- Complexity of Integration — menggabungkan metadata dari sistem dan tim yang beragam itu sulit.
- Access Control and Security — mengelola permission dan compliance di sepanjang lifecycle data itu menantang.
- Discoverability Issues — metadata yang buruk membatasi kemampuan pengguna menemukan dan memahami dataset.
- High Maintenance Costs — pembuatan dan pemeliharaan metadata secara manual sangat menghabiskan resource.
- Quality and Accuracy Risks — metadata yang tidak lengkap atau usang bisa menyebabkan salah interpretasi dan keputusan yang buruk.
Flashcard
flashcards Apa definisi singkat Metadata? :: “Data about Data” — data yang mendeskripsikan data lain; data tidak bisa dikelola tanpa metadata. Sebutkan tiga jenis metadata berdasarkan domain beserta satu contoh masing-masing. :: Technical (nama tabel/kolom fisik, data lineage), Operational (log batch job, error log), dan Business (business rules, data quality rules, regulatory tags seperti PII/GDPR). Mengapa metadata untuk data unstructured dianggap lebih penting dibanding data structured? :: Karena data unstructured (dokumen, gambar, dll) secara definisi bukan database/datafile sehingga tanpa metadata (format, sumber, tag konten, dll) data tersebut sangat sulit dicari, dipahami, dan dikelola. Sebutkan tiga jenis metadata berdasarkan pertanyaan yang dijawabnya (Venn diagram). :: Descriptive (apa artinya, siapa pemiliknya, apa isinya), Structural (bagaimana relasinya dengan dataset lain, bagaimana diorganisasi, apa key-nya), dan Administrative (kapan dibuat/dimodifikasi, siapa yang bisa akses, seberapa besar). Jelaskan ilustrasi kasus nomor telepon dan apa pelajarannya bagi manajemen metadata. :: Nomor telepon yang sama secara konsep memiliki format dan nama atribut berbeda-beda di berbagai sumber (CRM, Excel, POS, DataLake); tanpa metadata yang mendokumentasikan format dan aturan kualitas tiap sumber, data tersebut mustahil diintegrasikan/dibersihkan secara konsisten. Sebutkan 4 dari 7 motivasi lengkap penggunaan metadata. :: Provide Context, Ensure Data Quality, Support Compliance, Reduce Redundancy (juga: Enable Integration, Improve Reliability, Optimize Performance). Sebutkan minimal 4 karakteristik metadata yang efektif. :: Descriptive, Structural, Administrative, Consistent and Standardized, Automated and Scalable, dan Supports Self-Service. Sebutkan 3 tantangan utama dalam pengelolaan metadata. :: Inconsistency across sources, complexity of integration, dan high maintenance costs (juga bisa: access control/security, discoverability issues, quality/accuracy risks).