Apache Flink를 사용한 스트림 처리

11장. 어디로 가야 할까요?

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

긴 여정을 거쳐 이 책의 마지막 장까지 읽으셨습니다! 하지만 Flink 여정은 이제 막 시작되었으며, 이 장에서는 여기서부터 가능한 경로를 안내합니다. 이 책에 포함되지 않은 Flink의 추가 기능에 대해 간략하게 살펴보고 추가 Flink 리소스에 대한 몇 가지 팁을 제공합니다. Flink를 중심으로 활발한 커뮤니티가 존재하므로 다른 사용자들과 교류하고, 기여를 시작하거나, Flink로 어떤 회사가 어떤 작업을 하고 있는지 알아보고 자신의 작업에 영감을 얻으시기 바랍니다.

플링크 생태계의 나머지 부분

이 책은 특히 스트림 처리에 초점을 맞추고 있지만, Flink는 사실 범용 분산 데이터 처리 프레임워크이며 다른 유형의 데이터 분석에도 사용할 수 있습니다. 또한 Flink는 관계형 쿼리, 복잡한 이벤트 처리(CEP), 그래프 처리를 위한 도메인별 라이브러리와 API를 제공합니다.

일괄 처리를 위한 DataSet API

Flink 는 본격적인 배치 프로세서로, 한정된 입력 데이터에 대한 일회성 또는 주기적 쿼리가 필요한 사용 사례를 구현하는 데 사용할 수 있습니다. 데이터셋 프로그램은 데이터스트림 프로그램과 마찬가지로 일련의 변환으로 지정되지만, 데이터셋은 제한된 데이터 컬렉션이라는 차이점이 있습니다. DataSet API는 필터링, 매핑, 선택, 조인 및 그룹화를 수행할 수 있는 연산자와 파일 시스템 및 데이터베이스와 같은 외부 시스템에서 데이터 집합을 읽고 쓸 수 있는 커넥터를 제공합니다. 또한 데이터세트 API를 사용하면 고정된 단계 수 동안 또는 수렴 기준이 충족될 때까지 루프 함수를 실행하는 반복적인 Flink 프로그램을 정의할 수 있습니다.

배치 작업은 내부적으로 데이터 흐름 프로그램으로 표현되며 스트리밍 작업과 동일한 기본 실행 런타임에서 실행됩니다. 현재 두 API는 별도의 실행 환경을 사용하며 혼합할 수 없습니다. 그러나 Flink 커뮤니티는 이미 이 두 가지를 통합하기 위해 노력하고 있으며, 동일한 프로그램에서 바운드 및 언바운드 데이터 스트림 분석을 위한 단일 API를 제공하는 것은 Flink의 향후 로드맵에서 우선 순위가 높은 과제입니다.

관계형 분석을 위한 테이블 API 및 SQL

기본 데이터스트림과 데이터세트 API는 분리되어 있지만, 상위 관계형 API를 사용하여 Flink에서 통합 스트림 및 배치 분석을 구현할 수 있습니다: Table API와 SQL.

Table API는 Scala 및 Java용 언어 통합 쿼리(LINQ) API입니다. 쿼리는 수정 없이 일괄 또는 스트리밍 분석을 위해 실행할 수 있습니다. 선택, 투영, 집계, 조인 등 관계형 쿼리를 작성하기 위한 공통 연산자를 제공하며, 자동 완성 및 구문 유효성 검사를 위한 IDE 지원도 제공합니다.

Flink SQL은 ANSI SQL 표준을 따르며, 쿼리 구문 분석 및 최적화를 위해 ...