데이터 엔지니어를 위한 97가지 조언

80 빅데이터 확장성의 음양

 

폴 브레브너(Paul Brebner)

수석 테크 어반젤리스트, Instaclustr.com

아파치 카산드라나 아파치 카프카 등 최신 빅데이터 기술은 여러 노드(서버)를 클러스터로 묶어 수평 확장성을 제공함으로써 대규모 확장을 달성합니다. 수평적 확장은 데이터를 파티셔닝하여 각각의 노드가 데이터의 하위 집합을 갖도록 해서 클러스터에 있는 모든 노드에서 워크로드를 공유하는 방식으로 동작시킵니다. 단순히 노드를 추가하고 안정성과 가용성, 내구성의 요구에 맞게 하나 이상의 노드로 데이터를 복제하기만 하면 처리량이 증가합니다.

카산드라와 카프카는 본질적으로 확장 가능하기 때문에 대기 시간이 짧고 처리량이 높으며 데이터 규모가 크면서 쉽게 확장 가능한 애플리케이션을 운영하는 데 널리 사용되는 오픈 소스 제품입니다. 최근 제가 속한 팀에서는 이상 감지 애플리케이션의 설계와 테스트 그리고 확장을 하면서 카산드라를 스토리지 계층 용도로, 카프카를 스트리밍 계층 용도로, 쿠버네티스를 애플리케이션 확장 용도로 사용했습니다. 이상 감지 파이프라인의 애플리케이션 설계와 클러스터, 조정 가능한 옵션은 다음 그림과 같습니다.

 

 

노드를 증가시키면서 선형적 확장에 가까운 효과를 얻기 위해서는 여러 가지 소프트웨어 리소스를 조정해서 하드웨어 ...