Apache Flink를 사용한 스트림 처리

세계 최대 규모의 스트림 처리 애플리케이션을 지원하는 오픈 소스 프레임워크인 Apache Flink를 시작해보세요. 이 실용적인 책을 통해 병렬 스트림 처리의 기본 개념을 탐구하고, 이 기술이 기존의 배치 데이터 처리와 어떻게 다른지 알아볼 수 있습니다.

오랜 Apache Flink 커미터인 Fabian Hueske와 Vasia Kalavri가 Flink의 DataStream API를 사용하여 확장 가능한 스트리밍 애플리케이션을 구현하고 운영 환경에서 이러한 애플리케이션을 지속적으로 실행 및 유지 관리하는 방법을 보여줍니다. 스트림 처리는 저지연 ETL, 스트림 분석, 실시간 대시보드뿐만 아니라 사기 탐지, 이상 탐지, 알림 등 다양한 용례에 이상적입니다. 사용자가 생성하는 즉시 사용자 상호작용, 금융 거래, IoT 데이터 등 어떤 종류의 연속 데이터도 처리할 수 있습니다.

• 분산 상태 유지 스트리밍 처리의 개념과 과제 이해
• Flink의 시스템 아키텍처, 이벤트 시간 처리 모드 및 고장 허용 모델을 탐색하세요
• DataStream API의 기본 개념과 구성 요소(시간 기반 및 상태 유지 연산자 포함)를 이해하세요
• 외부 시스템에서 데이터를 읽고 쓰며 정확히 한 번만 일관성 있게 처리하세요
• Flink 클러스터를 배포하고 구성하세요
• 지속적으로 실행되는 스트리밍 애플리케이션을 운영하세요