머신러닝 인터뷰 실무 가이드

209

CHAPTER 04

기술 인터뷰: 모델 학습 및 평가

향을 미치는지 보는 것입니다.

불변성 테스트

Invariance

tests

머신러닝 모델이 다양한 조건하에 일관되게 수행하는지 검증합니다. 예를 들어, 특정 입력을

제거하거나 변경해도 출력에 큰 변화가 없어야 합니다. 하나의 피처를 완전히 제거했을 때

모델의 예측이 달라진다면, 해당 피처에 대해 추가 조사를 해봐야 합니다. 불변성 테스트는

피처가 인종이나 인구 통계와 같은 민감한 정보와 관련되어 있을 때 더욱 중요합니다.

슬라이스 기반 평가

Slice

-

based

evaluation

테스트 분할의 다양한 슬라이스 또는 하위 그룹에서 모델의 성능을 테스트합니다. 예를 들

어, 모델이 정확도와

F1

점수 같은 지표에서 전반적으로는 잘 수행되지만,

35

세 이상인 사람

들이나

15

세 미만인 사람들에 대해서는 성능이 낮은 것으로 나타날 수 있습니다. 특히, 학습

과정에서 일부 그룹을 간과했다면 이 부분을 조사하고 개선하는 것이 중요합니다.

이러한 평가 기법에 대해 더 알고 싶다면, 칩 후옌의 『머신러닝 시스템 설계』 (한빛미디어,

2023

)를 참고하세요.

모델 버전 관리

모델 평가의 목적은 모델이 충분히 잘 작동하는지, 아니면 베이스라인 모델이나 다른 머신러

닝 모델보다 더 우수한지를 확인하는 것입니다. 각각의 모델 학습 후에는 모델 정의, 모델 파

라미터, 데이터 스냅샷 등 다양한 모델 아티팩트들이 생성됩니다. 성능이 뛰어난 모델을 선

택하려고 할 때, 이런 모델 아티팩트들을 쉽게 검색할 ...