평가 지표

평가 지표

 

1) 회귀 (Regression) 문제 

수치를 예측하는 문제, 평가 지표 RMSE, MAE 등

 

2_1) 이진 분류(Binary Classification) 문제 

데이터가 어떤 속성에 속하는지를 예측하는 문제 

1) 0 or 1의 레이블로 예측하는 경우 

2) 0에서 1 사이의 확률로 예측하는 경우 

 

1)의 평가 지표 => F1-Score

2)의 평가 지표 => logloss, AUC

 

2_2) 다중 클래스 분류 (Multi-class Classification)문제 

다중 클래스 분류 (Multi-class classification)

=> 행 데이터 (Record)가 여러 클래스 중 어느 하나의 선택지에 속하는 분류 문제 

다중 레이블 분류 (Multi-class classification)

=> 행 데이터가 동시에 여러 클래스에 속하는 분류 문제 

 

1) 데이터가 포함되었다고 예측되는 클래스의 레이블을 제출하는 경우 

2) 데이터가 각 클래스에 포함될 확률을 0~1 사이의 수치로 제출하는 경우 

 

레이블일 경우 

-> 이진 분류 클래스를 수만큼 반복

다중 클래스 분류 

=> 로그손실

다중 레이블 분류

=> mean-F1 or macro-F1

 

3) 추천 문제 

추천: 고객의 구매가 기대되는 상품과 반응이 있을 법한 광고 등을 예측하는 문제 

구매 가능성에 따라 

1) 순위를 매겨 예측 결과를 제출하는 경우 

2) 순위를 매기지 않고 제출하는 경우 

1-> 행 데이터에 여러개의 정답이 있음

평가지표 => map@k2

2-> 여러개의 예측 값을 제출 

평가지표 => mean-F1, macro-F1

 

 

 

 

Reference 

https://ahns-tory.tistory.com/4