견고한 데이터 엔지니어링

CHAPTER 11

                 

데이터 엔지니어링의 미래

 

 

 

 

 

이 책은 이 분야의 급격한 변화에 따라 기존의 데이터 엔지니어, 데이터 엔지니어링 분야로 커리어를 전환하려는 사람, 기술 관리자, 그리고 데이터 엔지니어링이 그들의 회사에 어떻게 적용되는지를 더 잘 이해하려는 경영진에게 상당한 지식 격차가 발생한다는 필자들의 인식에서 출발했다. 이 책을 어떻게 구성할지 고민하던 중 ‘이렇게 빠르게 변화하는 분야에 관해 감히 어떻게 글을 쓸 수 있느냐?’라며 반발하는 지인들이 꽤 있었고, 사실 여러 가지 측면을 고려하면 그 말이 옳다고 생각한다. 데이터 엔지니어링 분야는(그리고 데이터와 관련된 모든 분야가) 매일매일 변화하는 건 분명한 사실이다. 이 책을 정리하고 집필하는 과정에서 가장 어려웠던 부분은 잡음을 걸러내고 변화하지 않을 것 같은 신호를 찾는 일이었다.

이 책은 향후 몇 년 동안 유용하리라 생각되는 큰 아이디어, 즉 데이터 엔지니어링 수명 주기의 연속성과 그 드러나지 않는 요소에 초점을 맞췄다. 작업 순서와 모범 사례 및 기술의 이름은 바뀔 수 있지만, 수명 주기의 주요 단계는 앞으로 수년 동안 그대로 유지될 것이다. 우리는 기술이 지칠 줄 모르는 속도로 계속 변화하고 있다는 사실을 잘 알고 있다. 현재 기술 분야에서 일한다는 것은 롤러코스터를 타는 것처럼 느껴지거나 거울의 방에 있는 것처럼 느껴질 수도 있다.

수년 전만 해도 데이터 엔지니어링은 개별 분야나 별도의 직책으로 존재하지 않았다. ...