(최*현) (5차 과제) Kaggle 경진대회 리더보드 점수 해석 #50
Description
Kaggle에서 House Prices - Advanced Regression Techniques 경진대회의 리더보드를 확인하다가, 모델 성능 평가 방식에 대해 의문이 생겼습니다.
이 대회에서는 모델의 예측값과 실제값에 각각 로그를 취한 뒤 계산한 RMSE(평균 제곱근 오차)를 기준으로 성능을 평가하고 있습니다. 제가 이해하기로는 회귀 문제에서 현실의 연속형 데이터를 오차 없이 완벽하게 예측하는 것은 사실상 불가하기 때문에, 일반적으로는 어느 정도의 오차가 남는 것이 자연스럽다고 생각했습니다.
그런데 리더보드를 보면 점수가 0이거나 0에 매우 가까운 점수를 제출한 기록도 보이는데, 이런 결과를 어떻게 해석해야 하는지 궁금해졌습니다. 이러한 점수가 실제로도 일반화 성능이 매우 뛰어난 모델을 의미하는 것인지, 아니면 리더보드 점수에 모델이 맞춰진 경우로, 신뢰도가 낮은 모델로 해석하는 것이 적절한 것인지 알고 싶습니다.
또한 이런 사례를 보며, 단순히 리더보드 점수가 낮을수록 실무에서도 좋은 모델이라고 볼 수 있는지 의문이 들었습니다. 실제 머신러닝 경진대회나 실무에서는 이러한 정량적 평가 지표 외에 어떤 방식으로 모델의 신뢰성이나 일반화 가능성을 추가로 검증하는지도 궁금합니다.
