스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

74

1

부

아파치 스파크를 사용한 스트림 처리의 기본

스트림처리

단계

스트림처리

단계

스트림처리

단계

스트림잡버전



그림

3-3

카파 아키텍처

이는 다음과 같은 의문을 제기하게 만든다. 배치 연산이 여전히 관련이 있는가? 애플리케이션

을 항상 스트리밍으로 전환해야 하는가?

우리는 람다 아키텍처에서 비롯되는 몇몇 개념이 여전히 관련 있다고 생각한다. 사실 그것들은

비록 항상 생각해내기 쉽지는 않지만 어떤 경우에는 매우 유용하다.

분석의 배치 버전을 구현한 다음 그것을 스트리밍 솔루션과 비교하는 노력을 하는 것이 여전히

유용한 몇몇 사용 사례가 있다.

3.5

스트리밍과 배치 알고리즘

스트리밍 애플리케이션의 일반 아키텍처 모델을 선택할 때 고려해야 할 두 가지 중요한 사항이

있다.

●

스트리밍 알고리즘이 완전히 다른 경우도 있음

●

스트리밍 알고리즘이 배치 알고리즘에 비해 잘 측정할 수 있다고 보장할 수 없음

다음 두 절에서 호기심을 자극하는 예제를 통해 이들 고려 사항을 탐구해보자.

75

3

장

스트리밍 아키텍처

3.5.1

스트리밍 알고리즘은 ...