[R3.3] 예측분석 - Decision Tree 적용한 분류분석(classification)

/*******************************************************************************************************************
-- Title : [R3.3] 예측분석 - Decision Tree 적용한 분류분석(classification)
-- Reference : hrd-net
-- Key word : R 분류 분석 의사결정나무 decision tree 의사결정트리 party ctree formula 분류모델 pred 
                  혼돈 matrix audituci rpart 
*******************************************************************************************************************/

-- Chart

-- R

# ************************************************ # -- 분류분석(ClassificationAnalysis) = Decision Tree # ************************************************ # - 종속변수(y변수) 존재 # - 종속변수 : 예측에 Focus을 두는 변수 # - 비모수 검정 : 선형성, 정규성, 등분산성 가정 필요없음 # - 단점 : 유의수준 판단 기준 없음(추론 기능 없음) # - 규칙(Rule)을 기반으로 의사결정트리 생성 # - 의사결정트리 : 분류 결과 시각화 # -> Y변수 연속형 : boxplot # -> Y변수 범주형 : barplot # ************************************************ # -- 1. party 패키지를 적용한 분류분석 # ************************************************ # ------------------------------ # -- part패키지 설치 # ------------------------------ install.packages("party") library(party) # ctree() 제공 #-- Scenario 1 # R에서 기본으로 제공되는 airquality 데이터 셋을 이용하기 위해서 # - Temp(온도)에 영향을 미치는 변수를 알아보기 - # airquality 데이터 셋 153개의 관측치와 6개의 변수로 구성되어 있으며 # New York의 대기에 관한 질을 측정한 데이터 셋이다. # 주요 변수로는 Ozone(오존수치), Solar.R(태양광), Wind(바람), # Temp(온도), Month(측정 월), Day(측정 날짜) 등이 있다. #-- # ------------------------------ # -- 단계1 : 데이터 셋(airquality) 로딩 # ------------------------------ library(datasets) str(airquality) # ------------------------------ # -- 단계2: formula 생성 : Y변수 연속형 # ------------------------------ formula = Temp ~ Solar.R + Wind + Ozone # ------------------------------ # -- 단계3: 분류모델 생성 : formula를 이용하여 분류모델 생성 # ------------------------------ air_ctree = ctree(formula, data=airquality) air_ctree # ------------------------------ # -- 단계4 : 분류모델 플로팅 : 의사결정트리 시각화 # ------------------------------ plot(air_ctree) # y변수 연속형 : boxplot # <해설> # 온도에 가장 큰 영향을 미치는 첫 번째 영향 변수는 오존수치(Ozone)이고, # 두 번째 영향 변수는 바람(Wind)으로 나타난다. #-- Scenario 2 # 4개변수(Sepal Length,Sepal Width,Petal Length,Petal Width) # 값에 따라서 꽃의 종류(Species)가 분류되는 분석 과정 #-- # ------------------------------ # -- 단계1 : 학습데이터와 검증데이터 샘플링 # set.seed(1234) # 메모리에 시드값 적용 - 동일값 생성 # ------------------------------ result = sample(1 : nrow(iris), nrow(iris) * 0.7) table(result) # 7:3비율 데이터 생성 train = iris[result,] test = iris[-result,] dim(train) # 105 5 dim(test) # 45 5 # ------------------------------ # -- 단계2 : formula 생성 : Y변수 범주형 # 형식) formula = 종속변수 ~ 독립변수 # ------------------------------ formula = Species ~ Sepal.Length+Sepal.Width+Petal.Length+Petal.Width # ------------------------------ # -- 단계3 : 분류모델 생성 : 학습 데이터 이용 # ------------------------------ iris_ctree = ctree(formula, data=train) # 학습데이터로 분류모델(tree) 생성 iris_ctree # 모델 결과 # ------------------------------ # -- 단계4 : 분류모델 플로팅 # ------------------------------ plot(iris_ctree, type="simple") plot(iris_ctree) # y변수 범주형 : barplot head(train) result = subset(train, Petal.Length > 1.9 & Petal.Width > 1.7) table(result$Species) # setosa versicolor virginica # 0 1 31 # ------------------------------ # -- 단계5 : 분류모델 예측치 생성 : 검정 데이터 이용 # ------------------------------ pred = predict(iris_ctree, test) # 예측치 pred # Y변수의 레벨(값) 예측 # -- 혼돈 matrix table(pred, test$Species) #pred setosa versicolor virginica #setosa 14 0 0 = missing : 0 #versicolor 0 16 1 = missing : 1 #virginica 0 0 14 = missing : 0 (14 + 16 + 14) / nrow(test) # 98% #-- Scenario 3 # AdultUCI 데이터 셋을 이용한 분류분석 # AdultUCI 데이터 셋에 관한 설명 # arules패키지에서 제공되는 데이터 셋으로 성인을 대상으로 # 인구 소득에 관한 설문조사 데이터를 포함하고 있다. # 전체 48,842개의 관측치와 15개 변수로 구성되어 있다. # 주요 변수 : age(나이),workclass(직업:4개),education(교육수준:16개), # occupation(직업:12개),race(인종:아시아계,백인),capital-gain(자본이득), # capital-loss(자본손실),hours-per-week(주당 근무시간), # native-country(국가),income(소득) #-- install.packages("arules") # AdultUCI 데이터 셋 이용을 위한 패키지 설치 library(arules) data("AdultUCI") str(AdultUCI) # 'data.frame': 48842 obs. of 15 variables: names(AdultUCI) # ------------------------------ # -- 데이터 샘플링 - 10,000개 관측치 선택 # ------------------------------ set.seed(1234) # 메모리에 시드 값 적용 choice = sample(1:nrow(AdultUCI), 10000) choice adult.df = AdultUCI[choice, ] str(adult.df) # ' # 'data.frame': 10000 obs. of 15 variables: # ------------------------------ # -- 변수 추출 및 데이터 프레임 생성 # (1) 변수 추출 # ------------------------------ capital= adult.df$`capital-gain` hours= adult.df$`hours-per-week` education = adult.df$`education-num` race = adult.df$race age = adult.df$age income = adult.df$income # ------------------------------ # -- (2) 데이터프레임 생성 # ------------------------------ adult_df = data.frame(capital=capital, age=age, race=race, hours=hours, education=education, income=income) str(adult_df) # 'data.frame': 10000 obs. of 6 variables: # -- formula 생성 : 자본이득(capital)에 영향을 미치는 변수 formula = capital ~ income + education + hours + race + age # -- ctree() : 분류모델 생성 및 예측 adult_ctree = ctree(formula, data=adult_df) adult_ctree # 가장 큰 영향을 미치는 변수 - income, education # 주의 : random으로 실행되기 때문에 실행결과는 다를 수 있다. # -- 분류모델 플로팅 plot(adult_ctree) # <해설> 자본이득(capital)에 가장 큰 영향을 미치는 변수는 income이고, # 두 번째는 education 변수이다. #-- Scenario 4 # product_sales.csv 파일을 읽어서 visit_count, buy_count, avg_price 칼럼을 # x변수로 tot_price 칼럼을 y변수로 하여 다음과 같이 분류모델를 생성하시오. #-- # 변수설명 # tot_price : 총구매액 # visit_count : 방문횟수, buy_count : 판매횟수, avg_price : 1회평균구매액 # ------------------------------ # -- 단계1 : 데이터 가져오기 # ------------------------------ sales = read.csv("C:\\RProject\\Rwork\\Part-IV\\product_sales.csv") str(sales) head(sales) # ------------------------------ # -- 단계2 : 학습데이터와 검정데이터 7:3 비율로 셈플링 # ------------------------------ idx = sample(1:nrow(sales), 0.7* nrow(sales)) train = sales[idx, ] test = sales[-idx, ] # ------------------------------ # -- 단계3 : formula 생성 : 종속변수 ~ 독립변수 # ------------------------------ formula = tot_price ~ . # ------------------------------ # -- 단계4 : 분류모델 생성 # ------------------------------ model = ctree(formula = formula, data = train) # ------------------------------ # -- 단계5 : 의사결정 트리 시각화 및 중요변수 해석 # ------------------------------ plot(model) # ************************************************ # -- ctree() vs rpart() # 에러가 난돠~~~ # ************************************************ # ctree() : y변수 범주형 -> 범주(YES/NO) 예측 # rpart() : y변수 범주형 -> 비율 예측(시그모이드 함수) # ------------------------------ # -- 단계1 : 학습데이터와 검증데이터 샘플링 # ------------------------------ result = sample(1 : nrow(iris), nrow(iris) * 0.7) train = iris[result,] test = iris[-result,] # ------------------------------ # -- 단계2 : formula 생성 : Y변수 범주형 # 형식) formula = 종속변수 ~ 독립변수 # ------------------------------ formula = Species ~ Sepal.Length+Sepal.Width+Petal.Length+Petal.Width # ------------------------------ # -- 단계3 : 분류모델 생성 # ------------------------------ model = rpart(formula, data = train) # ------------------------------ # -- 단계4 : 예측치 생성 # ------------------------------ pred = predict(model, test) pred # setosa versicolor virginica # -- 시그모이드 함수 cpred = ifelse(pred[,1]>= 0.5, "setosa", ifelse(pred[,2]>= 0.5, "versicolor", "virginica")) table(cpred, test$Species) #cpred setosa versicolor virginica #setosa 18 0 0 #versicolor 0 14 2 #virginica 0 0 11 (18+14+11) / nrow(test) # 96%

-- Files

product_sales.csv