46
1부MLOps개념과필요성
EDA
는 직관적인 통찰력이 필요할 경우 시각적 분석을 수행하고 좀 더 심도 있는 분석이 필요
한 경우에는 통계적 기법을 활용할 수 있다.
3.2.3
특성 엔지니어링 및 특성 선택
EDA
를 수행하고 나면 자연스럽게 특성 엔지니어링과 특성 선택
Feature
Selection
을 하게 된다. 특성
엔지니어링
Feature
Engineering
은 선택한 데이터 세트들에서 원시 데이터를 취득하고 문제를 해결하
는 데 더 적합한 ‘특성
feature
’으로 전환하는 절차다. ‘특성’은 고정된 크기의 숫자 배열로서, 머신
러닝 알고리즘이 유일하게 이해할 수 있는 객체다. 특성 엔지니어링은 데이터 정리를 포함하고
있어, 머신러닝 프로젝트에서 시간 소모가 가장 큰 부분이다. 이와 관련한 상세한 내용은
4
.
3
절에서 다룬다.
3.2.4
학습 및 평가
특성 엔지니어링 및 특성 선택을 수행하여 데이터 준비를 끝내고 나면, 다음은 학습 단계다. 새
로운 머신러닝 모델을 학습시키고 최적화하는 절차는 반복적이다. 여러 가지 알고리즘을 테스
트해야 할 수도 있고, 특성이 자동으로 생성되도록 해야 할 수도 있고, 특성 선택을 수행할 수
도 있고, 알고리즘 하이퍼파라미터
hyperparameter
를 조정할 수도 있다. 반복성이라는 특징 외에 학
습은 컴퓨팅 파워 측면에서 머신러닝 모델 생애주기 중에서 시간과 비용의 소모가 가장 큰 단
계다.
반복 과정에서 각 실험의 결과를 추적하다 보면 금세 복잡한 상황을 만나게 된다. 데이터 과학
자들에게는 정확한 설정을 ...