데이터 엔지니어를 위한 97가지 조언

51 상당수의 데이터 문제는 빅데이터 없이 풀 수 있다

 

토마스 닐드(Tomas Nield)

2015년 빅데이터라는 유행어가 정점에 달했을 때 NoSQL, 하둡, MongoDB 등의 비정형 데이터 기술이 분석의 미래라고 선전되었던 것을 기억합니다. 많은 조직에서 데이터를 정리하고 저장할 능력을 확보하기 전에 데이터부터 먼저 수집하기 시작했기 때문에, 클러스터에 데이터를 되는 대로 던져 두고 필요에 따라 수평적으로 확장만 했습니다. 그리고 많은 기업이 MySQL과 같은 RDBMS에서 아파치 하둡과 같은 빅데이터 플랫폼으로 마이그레이션하는 데 막대한 비용을 들였습니다.

이러한 움직임 속에서 저는 SQL에 대한 오라일리 온라인 교육을 하고 있었습니다. 어떤 수강생은 관계형 데이터베이스와 SQL은 한물간 기술이라고 주장했습니다. 관계형 데이터베이스를 수평적으로 확장할 수 없다는 이유만으로 한물갔다고 주장한 것은 아니었고, 정규화 방식으로 데이터를 구조화하는 부담에 더해 데이터 검증 및 기본 키와 외래 키를 적용해야 하는 부담 때문이었습니다. 더불어 인터넷과 장치 간 연결 덕분에 데이터가 폭발적으로 증가하면서 확장성은 NoSQL과 빅데이터의 판매 포인트가 되었습니다.

아이러니하게도 이러한 빅데이터 플랫폼에 SQL 인터페이스가 추가되었는데, 그럴 만한 ...