이전 포스팅에서 모델 성능 평가를 위한 전체적인 개요를 설명했다면 이번 포스팅에서는 회귀 모델에 대한 성능 평가 방법에 대해 알아보겠습니다. 성능 평가는 모델에 대한 평가로 좋은 결과가 나올 때까지 반복해서 작업을 수행합니다. 모델에 대한 평가할 수 있는 지표라고 할 수 있습니다.
경향(Propensity)
Propensity는 성향, 트렌드를 뜻하는 용어입니다. 출력변수가 범주값일 때 클래스 소속이 될 확률로 나타낼 수 있습니다. 예를 들어 컷오프(cut-off = 0.5)를 정의하는 방법으로 평가가 가능합니다. 경향(Propensity)은 사용 목적에 따라 아래와 같이 다릅니다.
- 분류 : 컷오프 점수를 이용해 클래스 소속도 예측이 가능합니다.
- 랭킹 : 관심있는 클래스에 속할 가능성이 가장 큰 집단 추출하는 방식을 쓸 수 있습니다. 점수로 정렬(Sorting)하여 상위 10%로 자르는 방법입니다.
MAE(Mean Absolute Error) : 절대평균오차
MAE는 모델의 예측값과 실제값의 차이를 모두 더한다는 개념입니다. 절대값을 취하기 때문에 가장 직관적으로 알 수 있는 지표입니다. 음수가 나오지 않게 절댓값 취하는 이유는 해석이 용이하게 하기 위해서입니다.
- 단점 : 절대값이라 실제보다 낮은 값인지, 높은 값인지 알 수 없음
- 장점 : 이상치에 강건(robust)함, MAE는 MSE, RMSE에 비해 오차값이 outlier의 덜 민감함
모든 오차에 동일한 가중치 부여하기 때문에 MSE, RMSE와 대조적입니다. 이 방식은 데이터의 특성을 잘 나타내 줍니다.
MSE(Mean Squared Error) : 평균제곱오차
MSE의 경우 평가지표로 가장 많이 사용합니다. 모델의 예측값과 실제값 차이를 제곱하기 때문에 오차의 면적의 합으로 표현할 수 있습니다. 오차 값에 상대적으로 크게 반영한다고 볼 수 있습니다. error의 제곱을 하기 때문에 error가 크면 클수록 가중치가 높게 반영됩니다.
- error가 0~1사이인 경우 : 더 작게 반영
- error가 1보다 클 경우 : 본래보다 더 크게 반영
결론적으로 이상값이 존재하면 수치가 늘어나게 되어 이상치에 민감하게 작용한다는 특징이 있습니다.
RMSE(Root Mean Squared Error) : 평균제곱오차의 제곱근
RMSE는 용어처럼 MSE에 root를 씌운 것입니다. 오류 지표를 실제 값과 유사한 단위로 변환하여 해석을 쉽게 하기 위해서 root를 사용한 것입니다. 그 결과 MSE 보다 이상치에 덜 민감합니다. RMSE는 이상치 민감도는 MSE와 MAE 사이에 있기 때문에 이상치를 적절히 잘 다룬다고 말할 수 있습니다. error에 따른 손실이 기하급수적으로 올라가는 상황에서 쓰기 적합합니다.
MAPE(Mean Absolute Percentage Error) : 절대평균백분율오차
마지막으로 MAPE는 MAE를 비율(퍼센트)로 변환한 것입니다. 0~100% 사이의 확률 값을 가지기 때문에 결과 해석이 용이합니다. 데이터 값의 크기와 관련된 것이 아닌 비율과 관련된 값을 가지기 때문에 다양한 모델, 데이터의 성능 비교할 때 사용합니다.
손실함수 특징 비교분석
- MSE : 0~1사이 오차는 더 적게, 1보다 큰 오차는 더 크게 가중함 -> 이상치에 가장 민감
- RMSE : 0~1 사이 오차는 작게, 1보다 큰 오차는 크게 가중 -> MSE보다는 덜 이상치에 민감
- MAE : 다른 examples과 outlier를 동일하게 계산 -> 이상치에 Rubust 함
DeepLearning에서 MSE를 사용하는 이유
일반적으로 데이터가 많을 수록 오차는 기하급수적으로 커집니다. 이때 실제 오차가 커서 값이 커지는 것인지 데이터 양이 많아서 값이 커지는 것인지 구분이 쉽지 않습니다. MAE는 0에서 미분이 불가능하기 때문에 경사하강법을 이용해 최적값에 가까워지더라도 이동거리가 일정해 최적값에 수렴하지 않습니다. 이런 이유로 딥러닝에서 손실함수를 MSE, RMSE를 주로 사용합니다.
회귀 모델 성능 평가 - 결정계수(R-squared), Adjusted R-Squared
이번 포스팅에서는 회귀 모델 성능 평가 두번째인 결정계수(R-squared)에 대해 알아보도록 하겠습니다. R-squared의 경우 통계학적으로 추정한 선형 모형이 주어진 자료에 적합도를 재는 척도입니다.
bommbom.tistory.com
'데이터 분석' 카테고리의 다른 글
| 분류 모델 성능 평가 - Confusion Matrix(정확도,정밀도,재현율,F1-score,민감도,특이도,ROC,AUC) (1) | 2023.10.19 |
|---|---|
| 회귀 모델 성능 평가 - 결정계수(R-squared), Adjusted R-Squared (0) | 2023.10.19 |
| [머신러닝] 모델 성능 평가 및 지표-훈련,검증,테스트 데이터, 교차 검증(Cross-Validation) (0) | 2023.10.18 |
| 클러스터링 최적 군집 수 - 엘보우 vs 실루엣 기법 (0) | 2023.10.16 |
| 클러스터링 - DBSCAN 장단점, 동작원리, eps (0) | 2023.10.14 |
