(김*희)(강의노트2장)사이킷런변환기

[ksagwa91-create]

MinMaxScaler나 StandardScaler 같은 스케일링 변환기는 데이터를 변환하기 전에 반드시 fit() 메서드를 통해 각 특성의 최솟값, 최댓값, 평균, 표준편차 등을 계산한 뒤에야 transform()을 적용할 수 있는 것으로 알고 있습니다. 반면에 FunctionTransformer는 이런 사전 계산 과정 없이, 사용자가 지정한 함수를 바로 적용할 수 있다고 이해했습니다.
제가 이해하기로는 이 차이가 단순히 구현 방식의 차이가 아니라, 실제 데이터 전처리 과정에서 중요한 의미를 가질 수 있을 것 같습니다. 특히 로그 변환처럼 단순 수학적 변환을 적용할 때는 굳이 fit()을 거칠 필요가 없으니 FunctionTransformer가 더 적합할 수도 있지 않은지가 궁금합니다.

[liganega]

어떤 의미?

제가 이해하기로는 이 차이가 단순히 구현 방식의 차이가 아니라, 실제 데이터 전처리 과정에서 중요한 의미를 가질 수 있을 것 같습니다.

강의노트에 다르게 설명되어 있던가요?

특히 로그 변환처럼 단순 수학적 변환을 적용할 때는 굳이 fit()을 거칠 필요가 없으니 FunctionTransformer가 더 적합할 수도 있지 않은지가 궁금합니다.

[yeonjjii]

백연서입니다.
앞서 질문한 내용에서 두 가지 부분에서 오해의 여지가 있었던 것으로 보입니다.

첫 번째는 “이 차이가 단순히 구현 방식의 차이가 아니라 실제 데이터 전처리 과정에서 중요한 의미를 가질 수 있을 것 같습니다.” 라는 부분입니다. 이 문장은 구체적으로 어떤 의미를 말하는 것인지가 명확하지 않기 때문에 교수님께서 그 의도를 다시 질문하신 것으로 보입니다. StandardScaler나 MinMaxScaler는 데이터로부터 평균, 표준편차, 최솟값, 최댓값과 같은 통계량을 먼저 계산해야 하는 변환기이기 때문에 fit()과정이 필요하고, FunctionTransformer는 사용자가 지정한 함수를 그대로 적용하는 변환기이기 때문에 별도의 통계량 계산이 필요하지 않습니다. 질문하신것처럼, fit()을 수행하는지 여부는 전처리 과정에서 일정한 의미를 가지는 부분이라고 볼 수 있습니다. 다만 그 의미는 데이터의 통계량에 의존하는지 여부에서 나타납니다.

두 번째는 질문의 마지막 부분입니다. “로그 변환처럼 단순 수학적 변환을 적용할 때는 굳이 fit()을 거칠 필요가 없으니 FunctionTransformer가 더 적합할 수도 있지 않은지”입니다.

강의노트 2.7.5 변환기 설명 부분에서는 이미 로그 변환과 같은 경우 FunctionTransformer를 사용하는 것이 적합한 예로 설명되어 있습니다. 따라서 이 부분은 새로운 가능성을 제시하는 질문이라기보다는, 강의노트에 제시된 내용을 다시 추측 형태로 표현하면서 생긴 오해로 볼 수 있습니다.

정리하자면, 결국 두 변환기의 차이는
StandardScaler, MinMaxScaler
→ 데이터의 평균, 표준편차, 최솟값, 최댓값 등 데이터로부터 통계량을 먼저 학습해야 하는 변환기이므로 fit() 단계가 필요합니다

FunctionTransformer
→ 로그 변환처럼 미리 어떤 정보를 확인할 필요 없이 바로 데이터 변환을 진행할 수 있다면, 지정된 함수를 그대로 적용하는 변환기이므로 단순 수학적 변환에 사용하기 적합합니다.

따라서 로그 변환과 같은 경우에는 강의노트의 설명처럼 FunctionTransformer를 사용하시면 됩니다.