반응형
/*
-- Title : 부스팅(boosting)의 이해
-- Reference : BDMBA, swalloow.github.io blog.skby.net
-- Tag : 부스팅 배깅 boosting bagging boostrap aggregating
*/
■ 부스팅(boosting)
• 분류(classification) 모델을 개선하기 위한 목적
• 약한 예측모델을 결합하여 강한 예측모델 생성
• 배깅과 비슷하게 복원 임의 추출법을 사용하지만 가중치를 부여하는 차이
• 배깅은 일반적인 모델을 만드는데 집중
• 부스팅은 맞추기 어려운 문제를 맞추는데 초점
■ 부스팅 절차
• Rawdata에 동일 가중치로 모델 생성
• 생성된 모델로 인한 오분류 데이터 수집
• 오분류 데이터에 높은 가중치 부여
• 과정 반복으로 모델의 정확도 향상
■ 부스팅 vs. 배깅
• 부스팅은 순차적, 배깅은 병렬처리
• 둘 다 복원 랜덤 샘플링이지만 부스팅은 가중치 부여
| 항목 | 배깅 | 부스팅 |
| 수행원리 | 샘플링에 의한 결함 | 가중치 재조정 반복 |
| 수행목적 | 모델 변동성 감소 | 모델 정확도 향상 |
| 적용연산 | 평균, 다수결 | 가중치 선형 결합 |
| 초기모델 | Bootstrap 모델 | Weak Classification |
| 최종모델 | Bagging 모델 | String Classification |
| 분류성능 | 결측치 존재 시 우수 | 데이터 다수 시 우수 |
반응형