데이터 엔지니어를 위한 97가지 조언

40 관리하는 데이터의 바이트당 가격을 파악하라

 

드루바 보타쿠르(Dhruba Borthakur)

저는 다양한 데이터 기반 소프트웨어 회사에서 데이터 엔지니어로 일하면서 제품 팀이 하둡이나 아마존 S3 같은 기술을 사용하면서 많은 데이터를 저장할 수 있게 된 것을 보았습니다. 과거의 시스템과 비교하면 새로운 시스템은 데이터의 바이트당 가격을 크게 줄여주었고 주머니를 탈탈 털지 않아도 테라바이트 단위의 데이터를 저장하는 것이 경제적으로 가능해졌습니다. 바이트당 가격 메트릭은 계산하기 쉽습니다. 데이터셋의 전체 크기를 총 비용으로 나누면 바이트당 가격 메트릭이 나옵니다.

제품 엔지니어는 두 번 생각할 필요도 없이 애플리케이션의 모든 이벤트를 기록하기 시작했습니다. 실제로는 기록하는 정보 중 극히 적은 부분만 필요하지만, 이벤트 각각에 대한 미세한 상세 정보까지 기록하고는 했습니다. 로그를 남기는 비용이 적어졌으니, 로그 레코드의 크기를 줄이려 애쓸 필요가 없다고 여기게 된 것이죠.

데이터 엔지니어들은 보통 수백 기가바이트 단위의 데이터를 다루는 전통적인 데이터베이스 관리자와 자신들을 비교하면서, 테라바이트 단위의 데이터셋을 다룬다는 점을 과시하며 기뻐했습니다. 제너럴 일렉트릭General Electric의 기관차는 단일 화물 노선에서 1테라바이트의 ...