데이터 엔지니어를 위한 97가지 조언

23 과거에도 현재에도 미래에도 존재하는 데이터 웨어하우스

 

제임스 덴스모어(James Densmore)

데이터 웨어하우스가 곧 사라질 거라는 오래된 소문은 아직까지 실현되지 않고 있습니다. 처음에는 NoSQL이, 그 다음에는 하둡Hadoop이, 그 다음에는 데이터 레이크가 데이터 웨어하우스를 끝장낼 것이라고 했지만 아직 건재합니다. 데이터 클라우드 회사인 스노우플레이크Snowflake는 2020년에 가장 인기 있었던 기업공개(IPO) 기업이었으며, 데이터 웨어하우스에서 가치를 끌어낼 수 있는 데이터 및 분석 엔지니어를 원하는 곳은 그 어느 때보다도 많습니다.

2010년에 바라봤던 데이터 웨어하우스의 미래는 상당히 암울했습니다. 대부분의 분석 팀은 데이터 웨어하우스에 로우 기반row-based 온라인 트랜잭션 처리(OLTP) 데이터베이스를 이용했습니다. 그리고 데이터 규모는 폭발적으로 증가했습니다. 그 모든 데이터를 처리하고 쿼리해서 분석하려면 컬럼 기반columnar database 데이터베이스가 도움이 되었지만, 이를 사용하려면 하드웨어를 확장해야 했습니다.

최소한의 옵션만 탑재한 데이터 웨어하우스 기기가 처리 능력을 비약적으로 향상시켰지만 거기에 필요한 하드웨어를 추가하려면 상당히 많은 투자를 해야 했습니다. 지금으로서는 상상할 수 없는 ...