데이터 엔지니어를 위한 97가지 조언

92 잘 모르면서 대충 접근하지 말아야 하는 경우

 

님로드 파라솔(Nimrod Parasol)

모두가 과잉 엔지니어링을 피해야 한다고 말합니다. 프로젝트를 방금 시작했으며 앞으로 어떤 일이 생길지 알 수 없기 때문에 가능한 한 간단하게 만들어야 한다고들 합니다. 아직 생기지 않은 문제를 해결하려고 하지 말라고도 말합니다. 하지만 때로는 문제를 뒤로 미뤄서 생기는 비용이 너무 클 수 있습니다.

대량의 데이터를 다루다 보면 데이터 마이그레이션 프로세스가 복잡하며 비용도 많이 든다는 사실을 알게 됩니다. 새로운 형식으로 이전 데이터를 변환하는 코드를 작성한 다음 기존 데이터 전체에 대해 변환 코드를 실행시켜야 하며, 마지막으로 사용자가 달라진 점을 인식하지 못하도록 이전 데이터셋과 새 데이터셋을 실시간으로 완벽하게 동기화해야 합니다. 이런 프로세스는 인력과 컴퓨팅 자원을 많이 소모하며 생산 시스템에 버그를 만들 위험을 내재하고 있습니다.

데이터 저장소를 설계할 때는 향후 데이터 마이그레이션을 피할 방법까지 생각해봐야 합니다. 주로 고려해야 할 2가지 요소는 다음과 같습니다.

첫 번째는 데이터 저장 형식입니다. 데이터베이스일 수도 있고, 데이터 레이크에서 사용하기로 정한 파일 형식일 수도 있습니다. 한쪽을 선택하고 나면 변경하기가 어렵습니다. 이전 ...