견고한 데이터 엔지니어링

CHAPTER 4

                 

데이터 엔지니어링 수명 주기 전체에 걸친 기술 선택

 

 

 

 

 

오늘날 데이터 엔지니어링은 한 가지만 고르기 힘들 만큼 좋은 기술이 많다 보니 오히려 어려움을 겪고 있다. 다양한 유형의 데이터 문제를 해결하는 데 필요한 기술 자체는 부족하지 않다. 데이터 기술은 오픈 소스, 관리형 오픈 소스, 독점 소프트웨어, 독점 서비스 등 거의 모든 방식으로 사용할 수 있는 턴키 제품으로 제공된다. 하지만 자칫 ‘수명 주기 전체에 걸쳐 데이터를 운반하고, 최종 사용자의 요구에 따라 이를 제공하는 견고하고 신뢰성 높은 시스템 설계’라는 데이터 엔지니어링의 핵심 목적을 잊은 채, 최첨단의 화려한 기술을 쫓는 데만 몰두하기 쉽다. 구조물 엔지니어가 건축물에 대한 건축가의 비전을 실현하고자 기술과 재료를 신중하게 선택하듯이, 데이터 엔지니어는 데이터 애플리케이션과 사용자에게 서비스를 제공하기 위해 수명 주기 전체에 걸쳐 데이터를 관리하는 적절한 기술을 선택해야 한다.

3장에서는 ‘좋은’ 데이터 아키텍처와 그것이 중요한 이유를 설명했다. 이제 그러한 아키텍처에 적합한 기술을 선택하는 방법을 설명할 것이다. 데이터 엔지니어는 최고의 데이터 제품을 만들기 위해 적절한 기술을 선택해야 한다. 적절한 데이터 기술을 선택하는 기준은 간단하다. ‘그 기술이 데이터 제품과 광범위한 비즈니스에 가치를 더해줄 수 있는가?’다.

많은 사람이 아키텍처와 도구를 혼동하는데, 아키텍처는 전략적^{strategic ...}