데이터 엔지니어를 위한 97가지 조언

27 클라우드 세상의 효율적인 데이터 엔지니어링

 

디프티 보카르(Dipti Borkar)

알루시오 제품 부사장

클라우드는 데이터 엔지니어링의 역동성뿐만 아니라 데이터 엔지니어의 행동 양식에 이르기까지 여러 가지 측면을 변화시켰습니다. 온프레미스 환경의 데이터 엔지니어는 보통 데이터베이스와 하둡 스택의 일부분만을 다루지만 클라우드에서는 상황이 조금 다르기 때문입니다.

이로 인해 갑자기 데이터 엔지니어에게 이전과 달리 더 광범위한 사고방식이 필요해졌습니다. 순전히 데이터 인프라에만 집중하는 것이 아니라 이제는 거의 풀스택 엔지니어에 가까워졌습니다(최종적으로 종단점에 전달되는 애플리케이션만 제외하면 말이죠). 컴퓨팅, 컨테이너, 스토리지, 데이터 이동, 성능, 네트워크 등 데이터 엔지니어에게는 더 많은 기술이 요구되고 있습니다. 다음은 유의해야 할 설계 개념과 데이터 스택 요소입니다.

 

 

¦ 분해된 데이터 스택 ¦

과거의 데이터베이스는 모든 핵심 구성 요소가 함께 구축되어 긴밀하게 통합되어 있었습니다. 하둡은 소수의 장비를 사용하는 대신 분산 시스템에 컴퓨팅과 스토리지를 같이 배치하는 방식으로 기존 방식을 대체했습니다. 그리고 클라우드가 이 상황을 바꾸었습니다. 오늘날에는 데이터베이스 관리 시스템의 각 핵심 요소가 고유한 계층으로 완전히 분리된 ...