데이터 엔지니어를 위한 97가지 조언

84 도구가 아니라 패턴과 관행이 중요하다

 

바스 기어딩크(Bas Geerdink)

데이터 엔지니어링 세상에 무턱대고 뛰어든다면 기술 용어와 프레임워크에 압도되기 쉽습니다. 빅데이터를 설명하는 대부분의 글이나 책은 시작부터 아파치 하둡, 스파크, 카프카를 폭넓게 설명합니다. 소프트웨어 개발 및 데이터 과학이라는 비슷한 분야로 조금 더 깊숙이 들어가면, 프로그래밍 언어와 도구 목록은 끝도 없이 쌓이는 이상한 용어 더미가 됩니다. 그리고 여러분은 이 모두를 반드시 조사해야 한다고 여기게 됩니다.

제가 알고 있는 많은 엔지니어가 일단 살펴봐야 한다고 마음먹은 프레임워크와 도구를 기록해 두고 추적하고 있습니다. 그렇지만 이런 방식은 이제 막 데이터 엔지니어링을 시작하는 사람에게는 맞지 않습니다. 프레임워크나 제품, 언어, 엔진 등의 도구를 배우기보다는 공통 패턴과 모범 사례, 기술 등의 개념에 집중해야 합니다. 공부하고 나서 새롭게 눈에 띄는 방법을 발견한다면, 간단한 조사만으로도 전체적인 관점에서 어디에 배치해야 할지 빠르게 알 수 있을 겁니다.

어쩌면 추상적 개념이 학문적이고 높은 수준으로 느껴질 수 있습니다. 학습 비결은 좋은 예제가 있는 학습 자료를 찾는 것입니다. 소스 코드로 바로 들어가기 전에, 보편적인 개념과 아키텍처를 설명하는 책, ...