데이터 엔지니어를 위한 97가지 조언

89 빅데이터란 무엇인가?

 

아미 레빈(Ami Levin)

여러분도 아마 빅데이터라는 용어를 셀 수 없이 많이 들어봤을 겁니다. 빅데이터에 대한 기사와 책이 수만 번 작성되어 왔으며, 빅데이터라고 주장하는 제품을 직접 사용하고 있을지도 모릅니다. 심지어 빅데이터라는 단어를 여러분의 이력서에 넣었을 수도 있습니다. 지금부터 잠시 멈춰서 빅데이터가 실제로 의미하는 바가 무엇인지 생각해봅시다.

빅데이터에 대한 표준적이면서 명확하고 합의된 정의는 없습니다. 어떤 이는 데이터 규모를 설명하는 데 사용하며, 다른 이는 데이터 속도나 다양한 데이터를 나타내는 지표로 사용합니다. 이 중 어떤 것에도 데이터셋의 크기가 크거나 작다고 분류할 수 있는 정량적 지표가 없습니다. 어떤 사람들은 빅데이터라는 말을 하둡 등의 특정 기술을 가리키는 데 사용하며, 어떤 사람들은 소셜 미디어나 IoT 장치 등 특정 소스에서 오는 데이터 또는 비정형 데이터를 가리키는 데 사용합니다.

빅데이터에 대한 여러 상충되고 모호한 정의들이 존재하지만 그중 어떤 것도 데이터 또는 데이터의 용도를 명확히 설명하지 않습니다. 누구든 자신의 제품이나 서비스, 기술, 데이터셋이 빅데이터라고 주장할 수 있으며 그 주장에 반박할 근거도 없습니다.

사실, 빅데이터 같은 것은 없습니다. 크기가 크며 ...