(박*원) Kaggle 경진대회 공백을 반영한 특성 추가

[sawon-0418]

GarageArea와 SalePrice의 산점도를 확인해보니 0~200 사이에 공백이 존재했습니다.
GPT에게 이유를 물어보니, 차고가 존재하는 경우에는 최소 면적이 약 200 정도이기 때문이라고 답을 들었습니다.
이를 확인해보기위해 코드를 통해 구해보니 200근처에는 차를 1대를 보유하고 있었습니다.

이 공백을 모델이 학습할 수 있도록, 차고가 있을 때와 없을 때를 구분할 수 있는 HasGarage라는 0과1 값을 갖는 특성을 추가했습니다.

그런데 이렇게 추가적인 정보를 주는 특성을 추가하는 것이 모델 성능에 부정적인 영향을 끼치지는 않는지 궁금합니다.

[wooseoye0n]

(우*연)

HasGarage 같은 변수를 추가로 만드는 건 오히려 도움이 될 가능성이 높다고 생각합니다.
GarageArea가 0인 값은 단순히 면적이 작은 것이 아니라 차고가 아예 없다는 의미를 가지기 때문에 0과 0이 아닌 값을 구분해주는 정보가 모델에 더 잘 전달될 수 있습니다.

GarageArea는 차고의 크기를 설명하고 HasGarage는 차고의 존재 여부를 설명해서 서로 역할이 달라 서로 보완해주는 정보가 될 수 있을 것 같습니다.

하지만 실제로 도움이 되는지는 HasGarage를 추가한 경우와 추가하지 않은 경우를 각각 학습시켜서 성능을 비교해보는 것이 가장 정확할 것 같습니다.

[sawon-0418]

(박*원)
우선 모델 설계를 잘못했던 것 같은데,

실제로 도움이 되는지는 HasGarage를 추가한 경우와 추가하지 않은 경우를 각각 학습시켜서 성능을 비교해보는 것이 가장 정확할 것 같습니다.

말씀하신대로 한 번 해보았는데

HasGarage를 넣고 학습시킨 결과

HasGarage를 빼고 학습시킨 결과

Kaggle에 제출하였을 때 위와 같은 결과가 생긴 것을 보아하니 HasGarage는 좋은 영향을 줬던 것 같습니다.

[liganega]

어떤 모델을 사용했나요?

[ch101634]

(최*현)
저도 이 부분이 궁금해서 직접 비교해 보았습니다.

비교에 사용한 모델은, 선형 회귀로 학습한 모델입니다. 참고 사이트의 전처리 과정을 참고하여 결측치가 많은 특성과 일부 이상치를 제거하여 훈련 데이터를 정리하고, GrLivArea와 TotalBsmtSF처럼 오른쪽으로 치우친 특성에는 로그 변환을 적용했습니다. 또한 지하실 유무를 나타내는 HasBsmt 특성을 추가했습니다. 이후 수치형 특성과 범주형 특성을 구분하여 각각 적절한 전처리를 적용한 뒤 LinearRegression으로 학습했습니다. 훈련셋과 검증셋을 나눌 때는 SalePrice와 상관관계가 큰 OverallQual의 분포가 한쪽으로 치우치지 않도록 계층 샘플링했습니다.

HasGarage를 추가한 경우

HasGarage를 추가하지 않은 경우

이 상태에서 HasGarage를 추가한 경우와 추가하지 않은 경우를 비교해 보니, Kaggle 제출 점수는 각각 0.14226과 0.14188로 나왔습니다. 이 대회에서는 점수가 낮을수록 더 좋은 것이므로, 제 케이스에선 HasGarage를 추가한 경우가 오히려 아주 조금 불리했습니다. 다만 차이가 매우 작아서, HasGarage가 성능에 큰 영향을 주는 특성이라고 보기는 어려워 보입니다.

그래서 제 생각에는, HasGarage처럼 GarageArea가 0인지 아닌지에서 파생된 특성은 직관적으로 의미가 있어 보여도, 완전히 새로운 정보를 주기보다는 기존 정보를 다른 형태로 표현한 것에 가까워 보입니다. 따라서 항상 성능 향상으로 이어지는 것은 아니며, 실제로는 기존 특성과 정보가 많이 겹치면 효과가 거의 없을 수도 있다고 이해했습니다.

[liganega]

상식적으로 생각해 봅시다.
HasGarage가 새로운 정보를 주나요?

[wooseoye0n]

HasGarage처럼 GarageArea가 0인지 아닌지에서 파생된 특성은 직관적으로 의미가 있어 보여도, 완전히 새로운 정보를 주기보다는 기존 정보를 다른 형태로 표현한 것에 가까워 보입니다.

위 답변을 보고 생각해보니 GarageArea만으로도 충분히 차고의 유무를 알 수 있기 때문에 HasGarage는 새로운 정보를 주기보다는 다른 형태로 표현 한 것이라고 이해했습니다.

따라서 HasGarage를 추가하더라도 정보량이 증가하는 것은 아니며 변수 간 정보가 겹치면서 성능 향상으로 이어지지 않을 수 있다고 생각했습니다.

또한 ch101634님의 학습 결과에서 성능 차이가 거의 없었던 점을 통해 이러한 겹치는 특성은 직관적으로는 의미가 있어 보일 수 있지만 실제로 성능 개선에는 큰 영향을 주지 않을 수 있다고 이해했습니다.

[sawon-0418]

어떤 모델을 사용했나요?

선형회귀 모델을 사용하였으며, 상관계수를 기준으로 가장 높은 5개의 변수를 선택해 전처리 후 학습을 진행했습니다.

HasGarage가 새로운 정보를 주나요?

처음에는 HasGarage가 차고의 유무를 나타내는 새로운 정보라고 생각했습니다.

직관적으로 의미가 있어 보여도, 완전히 새로운 정보를 주기보다는 기존 정보를 다른 형태로 표현한 것에 가까워 보입니다

그러나 위 답변을 보고 이는 기존의 GarageArea 변수만으로도 충분히 파악할 수 있는 내용이었던 것을 깨달았습니다.

또한, 동일한 정보를 담고 있더라도 이를 어떻게 표현하느냐에 따라 모델 성능에도 영향을 미칠 수 있다는 점을 알게 되었습니다.