Ensamble methon
~ banyak digunakan kenapa sih? terbukti bagus, adaptif Untuk data tabular algoritma mengguakan ensemble method, jadi model yang sudah ada bisa lebih baik jia ditambahkan ensamble method
rinsip yang mirip THe Wisdom of Crowds :: suara banyak lebih bagus daripada ahli
APa prinsip penting Ensamble Method :: combine dari jawaban alias voting, dan hasil combine lebih baik daripada jawaban 1 orang ahli, syaratnya
- harus cuup beragam/bervariasi
- Proses agregasinya
Agregasi ini sifatnya gabungan
Terminologinya, kita menggunakan base model dan ada yang paralel dan sequential algoritmya bisa sama semua alias homogen atau beda beda alias heterogen
Pararel Ensamble
Homogen Paralel dari suara banyak dengan data yang sama nanti seperti vote. Yang penting dari ensamble yang penting diversity Homogen 1 data 1 aloritma tapi hasilnya beda beda dnegan cara
- begging (Bootsrap Aggregating)
- Bootsrap Sample
Data training dibagi menajdi Train, Test dan Data Validation
Data validation digunakan awal saja. Jadi OOB di Begging CLassifier dipakai jaid dataVal
Cara berbed abeda lagi dengan random forest, dimana fiturnya yang kita otak atik ramdom forest itu, bootsrap sampilg, + Randomized tree
Sequential Ensamble Method
Boosting
- mengkombinasi weak learners into a single strong learner.
- metodenya ada adaboost dan gradient boosting
Adaboost :: adaptive algorithm, setiap iterasi, base estimator yang aru emperbaiki kesalahan yang ada dari pbase estimator yaang sebelumnya, memprioritaskan missclassified training. adaboost maintaining weight every data.
langkah
- ada data dengan weight yang sama → diklassfier, karena ada yang missclassified, bobot yang missclissfied ditinggiin.