Kafka: The Definitive Guide, 2nd Edition

초판 서문

지금은 Apache Kafka의 흥미로운 시기입니다. 포춘 500대 기업 중 3분의 1 이상을 포함해 수만 개의 조직에서 Kafka를 사용하고 있습니다. 가장 빠르게 성장하는 오픈 소스 프로젝트 중 하나이며, 이를 중심으로 거대한 생태계를 형성하고 있습니다. 데이터 스트림을 관리하고 처리하기 위한 움직임의 중심에 있습니다.

그렇다면 Kafka는 어디에서 왔을까요? 왜 만들었을까요? 그리고 정확히 무엇일까요?

Kafka는 LinkedIn에서 구축한 내부 인프라 시스템에서 시작되었습니다. 데이터를 저장하기 위해 구축된 수많은 데이터베이스와 기타 시스템이 있었지만, 우리 아키텍처에는 지속적인 데이터 흐름을 처리하는 데 도움이 되는 무언가가 빠져 있었습니다. Kafka를 구축하기 전에 메시징 시스템부터 로그 집계 및 ETL 도구에 이르기까지 모든 종류의 기성 옵션을 실험해 보았지만 원하는 것을 얻을 수 있는 것은 없었습니다.

결국 우리는 처음부터 무언가를 구축하기로 결정했습니다. 관계형 데이터베이스, 키-값 저장소, 검색 인덱스, 캐시 같은 데이터 더미를 보관하는 데 집중하는 대신, 데이터를 지속적으로 진화하고 계속 성장하는 흐름으로 취급하고 그 아이디어를 중심으로 데이터 시스템, 즉 데이터 아키텍처를 구축하는 데 집중하기로 했습니다.

이 아이디어는 예상보다 훨씬 더 광범위하게 적용될 수 있는 것으로 밝혀졌습니다. Kafka는 소셜 네트워크의 이면에서 실시간 애플리케이션과 데이터 흐름을 지원하는 데서 시작되었지만, 이제는 상상할 수 있는 모든 산업에서 차세대 아키텍처의 핵심으로 자리 잡고 있습니다. 대형 소매업체들은 지속적인 데이터 스트림을 중심으로 기본 비즈니스 프로세스를 재구성하고 있으며, 자동차 회사들은 인터넷에 연결된 자동차에서 실시간 데이터 스트림을 수집하고 처리하고 있으며, 은행들도 Kafka를 중심으로 기본 프로세스와 시스템을 재고하고 있습니다.

그렇다면 이 Kafka는 도대체 무엇일까요? 이미 알고 있고 사용하고 있는 시스템과 비교하면 어떤 차이가 있을까요?

데이터 스트림을 게시 및 구독하고, 저장하고, 처리할 수 있는 시스템, 즉 스트리밍 플랫폼으로 생각하게 되었으며, 이것이 바로 Apache Kafka가 구축된 목적입니다. 데이터에 대한 이러한 사고 방식에 익숙해지면 익숙했던 것과는 조금 다를 수 있지만, 애플리케이션과 아키텍처를 구축하는 데 있어 놀랍도록 강력한 추상화 방식이라는 것이 밝혀졌습니다. Kafka는 엔터프라이즈 메시징 시스템, Hadoop과 같은 빅 데이터 시스템, 데이터 통합 또는 ETL 도구 등 몇 가지 기존 기술 범주와 자주 비교됩니다. 이러한 비교는 각각 어느 정도 타당성이 있지만 약간 부족한 점도 있습니다.

Kafka는 메시지 스트림을 게시하고 구독할 수 있다는 점에서 메시징 시스템과 비슷합니다. 이런 점에서 ActiveMQ, RabbitMQ, IBM의 MQSeries 및 기타 제품과 유사합니다. 그러나 이러한 유사점에도 불구하고 Kafka는 기존 메시징 시스템과는 완전히 다른 종류의 동물로 만드는 ...