스파크를 활용한 실시간 처리: 실시간 데이터 처리를 위한 고수준 스트리밍 API 마스터하기

Table of contents

1. 지은이·옮긴이 소개
2. 옮긴이의 말
3. 서문
4. 이 책에 대하여
5. 감사의 글
6. 차례 (1/4)
7. 차례 (2/4)
8. 차례 (3/4)
9. 차례 (4/4)
10. 1부 아파치 스파크를 사용한 스트림 처리의 기본
    1. 1장 스트림 처리 소개
       1. 1.1 스트림 처리란
          1. 1.1.1 배치 처리와 스트림 처리
          2. 1.1.2 스트림 처리에서 시간의 개념
          3. 1.1.3 불확실성의 요인
       2. 1.2 스트림 처리 예제
       3. 1.3 데이터 처리의 확장
          1. 1.3.1 맵리듀스
          2. 1.3.2 교훈: 확장성 및 내결함성
       4. 1.4 분산 스트림 처리
          1. 1.4.1 분산 시스템에서 상태 기반 스트림 처리
       5. 1.5 아파치 스파크 소개
          1. 1.5.1 첫 번째 물결: 기능적 API
          2. 1.5.2 두 번째 물결: SQL
          3. 1.5.3 통합 엔진
          4. 1.5.4 스파크 컴포넌트
          5. 1.5.5 스파크 스트리밍
          6. 1.5.6 구조적 스트리밍
       6. 1.6 다음엔 무엇을 배울까
    2. 2장 스트림 처리 모델
       1. 2.1 소스와 싱크
       2. 2.2 서로 정의된 불변의 스트림
       3. 2.3 변환과 집계
       4. 2.4 윈도우 집계
          1. 2.4.1 텀블링 윈도우
          2. 2.4.2 슬라이딩 윈도우
       5. 2.5 비상태 및 상태 기반 처리
       6. 2.6 상태 기반 스트림
       7. 2.7 예제: 스칼라에서 로컬 상태 기반 연산
          1. 2.7.1 스트림 변환으로서 피보나치 수열의 비상태 정의
       8. 2.8 비상태 또는 상태 기반 스트리밍
       9. 2.9 시간의 영향 (1/2)
       10. 2.9 시간의 영향 (2/2)
           1. 2.9.1 타임스탬프 이벤트에 대한 연산
           2. 2.9.2 시간 개념의 제공자로서의 타임스탬프
           3. 2.9.3 이벤트 시간과 처리 시간
           4. 2.9.4 워터마크를 사용한 컴퓨팅
       11. 2.10 요약
    3. 3장 스트리밍 아키텍처
       1. 3.1 데이터 플랫폼의 구성 요소
       2. 3.2 아키텍처 모델
       3. 3.3 스트리밍 애플리케이션에서 배치 처리 구성 요소의 사용
       4. 3.4 참조 스트리밍 아키텍처
          1. 3.4.1 람다 아키텍처
          2. 3.4.2 카파 아키텍처
       5. 3.5 스트리밍과 배치 알고리즘
          1. 3.5.1 스트리밍 알고리즘은 때때로 완전히 다르다
          2. 3.5.2 스트리밍 알고리즘이 배치 알고리즘에 비해 잘 측정한다고 보장할 수는 없다
       6. 3.6 요약
    4. 4장 스트림 처리 엔진으로서의 아파치 스파크
       1. 4.1 두 API 이야기
       2. 4.2 스파크의 메모리 사용
          1. 4.2.1 실패 복구
          2. 4.2.2 지연 평가
          3. 4.2.3 캐시 힌트
       3. 4.3 지연 시간에 대한 이해
       4. 4.4 처리량 지향 처리
       5. 4.5 스파크의 폴리글랏 API
       6. 4.6 데이터 분석의 빠른 구현
       7. 4.7 스파크에 대해 더 알아보기
       8. 4.8 요약
    5. 5장 스파크의 분산 처리 모델
       1. 5.1 클러스터 매니저를 활용한 아파치 스파크 실행
          1. 5.1.1 클러스터 매니저의 예
       2. 5.2 스파크 자체 클러스터 매니저
       3. 5.3 분산 시스템에서의 복원력과 내결함성 이해
          1. 5.3.1 장애 복구
          2. 5.3.2 내고장성에 대한 클러스터 매니저 지원
       4. 5.4 데이터 전송 의미론
       5. 5.5 마이크로배칭과 한 번에 한 요소
          1. 5.5.1 마이크로배칭: 대량 동기화 처리의 적용
          2. 5.5.2 한 번에 한 레코드 처리
          3. 5.5.3 마이크로배칭과 한 번에 하나: 트레이드오프
       6. 5.6 마이크로배치와 한 번에 한 레코드 처리 방식을 더욱 가깝게 만들기
       7. 5.7 동적 배치 간격
       8. 5.8 구조적 스트리밍 처리 모델
          1. 5.8.1 배치 간격의 소멸
    6. 6장 스파크의 복원력 모델
       1. 6.1 스파크의 탄력적인 분산 데이터셋
       2. 6.2 스파크 컴포넌트
       3. 6.3 스파크의 내결함성 보장
          1. 6.3.1 태스크 실패 복구
          2. 6.3.2 스테이지 실패 복구
          3. 6.3.3 드라이버 실패 복구
       4. 6.4 요약
11. 2부 구조적 스트리밍
    1. 7장 구조적 스트리밍 소개
       1. 7.1 구조적 스트리밍의 첫걸음
       2. 7.2 배치 분석
       3. 7.3 스트리밍 분석
          1. 7.3.1 스트림에 연결하기
          2. 7.3.2 스트림에서 데이터 준비하기
          3. 7.3.3 스트리밍 데이터셋에 대한 작업
          4. 7.3.4 쿼리 작성하기
          5. 7.3.5 스트림 처리 시작하기
          6. 7.3.6 데이터 탐색
       4. 7.4 요약
    2. 8장 구조적 스트리밍 프로그래밍 모델
       1. 8.1 스파크 초기화
       2. 8.2 소스: 스트리밍 데이터 수집
          1. 8.2.1 사용 가능한 소스
       3. 8.3 스트리밍 데이터 변환
          1. 8.3.1 데이터프레임 API에서의 스트리밍 API 제한
       4. 8.4 싱크: 결과 데이터 출력
          1. 8.4.1 format
          2. 8.4.2 outputMode
          3. 8.4.3 queryName
          4. 8.4.4 option
          5. 8.4.5 options
          6. 8.4.6 trigger
          7. 8.4.7 start ( )
       5. 8.5 요약
    3. 9장 구조적 스트리밍 작동
       1. 9.1 스트리밍 소스 소비하기
       2. 9.2 애플리케이션 로직
       3. 9.3 스트리밍 싱크에 쓰기
       4. 9.4 요약
    4. 10장 구조적 스트리밍 소스
       1. 10.1 소스의 이해
          1. 10.1.1 신뢰할 수 있는 소스는 지속 가능해야 한다
          2. 10.1.2 소스는 스키마를 제공해야 한다
       2. 10.2 사용 가능한 소스
       3. 10.3 파일 소스 (1/2)
       4. 10.3 파일 소스 (2/2)
          1. 10.3.1 파일 형식 지정하기
          2. 10.3.2 공통 옵션
          3. 10.3.3 일반적인 텍스트 파싱 옵션(CSV, JSON)
          4. 10.3.4 JSON 파일 소스 형식
          5. 10.3.5 CSV 파일 소스 형식
          6. 10.3.6 파케이 파일 소스 형식
          7. 10.3.7 텍스트 파일 소스 형식
       5. 10.4 카프카 소스
          1. 10.4.1 카프카 소스 설정
          2. 10.4.2 토픽 구독 메서드 선택하기
          3. 10.4.3 카프카 소스 옵션 구성
          4. 10.4.4 카프카 소비자 옵션
       6. 10.5 소켓 소스
          1. 10.5.1 구성
          2. 10.5.2 작동
       7. 10.6 레이트 소스
          1. 10.6.1 옵션
    5. 11장 구조적 스트리밍 싱크
       1. 11.1 싱크의 이해
       2. 11.2 사용 가능한 싱크
          1. 11.2.1 신뢰할만한 싱크
          2. 11.2.2 실험을 위한 싱크
          3. 11.2.3 싱크 API
          4. 11.2.4 싱크 상세 탐색
       3. 11.3 파일 싱크 (1/2)
       4. 11.3 파일 싱크 (2/2)
          1. 11.3.1 파일 싱크와 함께 트리거 사용하기
          2. 11.3.2 지원되는 모든 파일 형식에서의 공통 구성 옵션
          3. 11.3.3 일반적인 시간과 날짜 형식(CSV, JSON)
          4. 11.3.4 파일 싱크의 CSV 형식
          5. 11.3.5 JSON 파일 싱크 형식
          6. 11.3.6 파케이 파일 싱크 형식
          7. 11.3.7 텍스트 파일 싱크 형식
       5. 11.4 카프카 싱크
          1. 11.4.1 카프카 발행 모델 이해하기
          2. 11.4.2 카프카 싱크 사용하기
       6. 11.5 메모리 싱크
          1. 11.5.1 출력 모드
       7. 11.6 콘솔 싱크
          1. 11.6.1 옵션
          2. 11.6.2 출력 모드
       8. 11.7 foreach 싱크 (1/2)
       9. 11.7 foreach 싱크 (2/2)
          1. 11.7.1 ForeachWriter 인터페이스
          2. 11.7.2 TCPWriter 싱크: 실용적인 ForeachWriter 예제
          3. 11.7.3 이 예제의 교훈
          4. 11.7.4 ForeachWriter 직렬화 문제 해결
    6. 12장 이벤트 시간 기반 스트림 처리
       1. 12.1 구조적 스트리밍에서의 이벤트 시간에 대한 이해
       2. 12.2 이벤트 시간의 사용
       3. 12.3 처리 시간
       4. 12.4 워터마크
       5. 12.5 시간 기반 윈도우 집계
          1. 12.5.1 시간 기반 윈도우 정의하기
          2. 12.5.2 간격이 어떻게 계산되는지에 대한 이해
          3. 12.5.3 복합 집계키 사용
          4. 12.5.4 텀블링 윈도우와 슬라이딩 윈도우
       6. 12.6 레코드 중복 제거
       7. 12.7 요약
    7. 13장 고급 상태 기반 작업
       1. 13.1 예제: 차량 유지 보수 관리
       2. 13.2 상태 작동을 통한 그룹의 이해
          1. 13.2.1 내부 상태 흐름
       3. 13.3 MapGroupsWithState의 사용
       4. 13.4 FlatMapGroupsWithState 사용 (1/2)
       5. 13.4 FlatMapGroupsWithState 사용 (2/2)
          1. 13.4.1 출력 모드
          2. 13.4.2 시간 경과에 따른 상태 관리
       6. 13.5 요약
    8. 14장 구조적 스트리밍 애플리케이션 모니터링
       1. 14.1 스파크 메트릭 하위시스템
          1. 14.1.1 구조적 스트리밍 메트릭
       2. 14.2 StreamingQuery 인스턴스
          1. 14.2.1 StreamingQueryProgress를 사용하여 메트릭 가져오기
       3. 14.3 StreamingQueryListener 인터페이스
          1. 14.3.1 StreamingQueryListener 구현
    9. 15장 실험 영역: 연속형 처리와 머신러닝
       1. 15.1 연속형 처리
          1. 15.1.1 연속형 처리 이해
          2. 15.1.2 연속형 처리 사용하기
          3. 15.1.3 제약 사항
       2. 15.2 머신러닝 (1/2)
       3. 15.2 머신러닝 (2/2)
          1. 15.2.1 학습과 활용
          2. 15.2.2 머신러닝 모델을 스트림에 적용하기
          3. 15.2.3 예제: 주변 센서를 사용하여 객실 점유율 추정
          4. 15.2.4 온라인 트레이닝
12. 3부 스파크 스트리밍
    1. 16장 스파크 스트리밍 소개
       1. 16.1 DStream 추상화
          1. 16.1.1 프로그래밍 모델로서의 DStream
          2. 16.1.2 실행 모델로서의 DStream
       2. 16.2 스파크 스트리밍 애플리케이션의 구조
          1. 16.2.1 스파크 스트리밍 컨텍스트 생성
          2. 16.2.2 DStream 정의
          3. 16.2.3 출력 작업 정의
          4. 16.2.4 스파크 스트리밍 컨텍스트 시작하기
          5. 16.2.5 스트리밍 프로세스 중지하기
       3. 16.3 요약
    2. 17장 스파크 스트리밍 프로그래밍 모델
       1. 17.1 DStream의 기본 추상화로서의 RDD
       2. 17.2 DStream 변환의 이해
       3. 17.3 요소 중심의 DStream 변환
       4. 17.4 RDD 중심의 DStream 변환
       5. 17.5 계산 변환
       6. 17.6 구조 변경 변환
       7. 17.7 요약
    3. 18장 스파크 스트밍 실행 모델
       1. 18.1 대량 동기화 아키텍처
       2. 18.2 리시버 모델 (1/2)
       3. 18.2 리시버 모델 (2/2)
          1. 18.2.1 리시버 API
          2. 18.2.2 리시버는 어떻게 동작하는가
          3. 18.2.3 리시버의 데이터 흐름
          4. 18.2.4 내부 데이터 복원력
          5. 18.2.5 리시버 병렬
          6. 18.2.6 밸런싱 리소스: 리시버와 프로세싱 코어
          7. 18.2.7 미리 쓰기 로그를 통한 데이터 손실 제로화 달성
       4. 18.3 리시버가 없는 모델 또는 직접 모델
       5. 18.4 요약
    4. 19장 스파크 스트리밍 소스
       1. 19.1 소스의 유형
          1. 19.1.1 기본 소스
          2. 19.1.2 리시버 기반 소스
          3. 19.1.3 직접 소스
       2. 19.2 일반적으로 사용되는 소스
       3. 19.3 파일 소스
          1. 19.3.1 작동 방식
       4. 19.4 큐 소스 (1/2)
       5. 19.4 큐 소스 (2/2)
          1. 19.4.1 작동 방식
          2. 19.4.2 단위 테스트에 큐 소스 사용하기
          3. 19.4.3 큐 소스에 대한 단순한 대안: ConstantInputDStream
       6. 19.5 소켓 소스
          1. 19.5.1 동작 원리
       7. 19.6 카프카 소스
          1. 19.6.1 카프카 소스 사용하기
          2. 19.6.2 동작 원리
       8. 19.7 더 많은 소스를 찾을 수 있는 곳
    5. 20장 스파크 스트리밍 싱크
       1. 20.1 출력 연산
       2. 20.2 내장형 출력 연산
          1. 20.2.1 print
          2. 20.2.2 saveAsxyz
          3. 20.2.3 foreachRDD
       3. 20.3 프로그래밍 가능한 싱크로서 foreachRDD 사용하기
       4. 20.4 서드파티 출력 연산
    6. 21장 시간 기반 스트림 처리
       1. 21.1 윈도우 집계
       2. 21.2 텀블링 윈도우
          1. 21.2.1 윈도우 길이와 배치 간격
       3. 21.3 슬라이딩 윈도우
          1. 21.3.1 슬라이딩 윈도우와 배치 간격
          2. 21.3.2 슬라이딩 윈도우와 텀블링 윈도우
       4. 21.4 윈도우 사용과 더 긴 배치 간격 사용
       5. 21.5 윈도우 기반 감소
          1. 21.5.1 reduceByWindow
          2. 21.5.2 reduceByKeyAndWindow
          3. 21.5.3 countByWindow
          4. 21.5.4 countByValueAndWindow
       6. 21.6 가역 윈도우 집계
       7. 21.7 슬라이싱 스트림
       8. 21.8 요약
    7. 22장 임의 상태 기반 스트리밍 연산
       1. 22.1 스트림 규모의 상태 기반
       2. 22.2 updateStateByKey
       3. 22.3 updateStateByKey의 한계
          1. 22.3.1 성능
          2. 22.3.2 메모리 사용량
       4. 22.4 mapwithState를 사용한 상태 기반 연산 소개
       5. 22.5 mapWithState 사용하기
       6. 22.6 mapWithState를 사용한 이벤트 시간 스트림 계산 (1/2)
       7. 22.6 mapWithState를 사용한 이벤트 시간 스트림 계산 (2/2)
    8. 23장 스파크 SQL로 작업하기
       1. 23.1 스파크 SQL
       2. 23.2 스파크 스트리밍에서 스파크 SQL 함수에 접근하기
          1. 23.2.1 예제: 파케이에 스트리밍 데이터 쓰기
       3. 23.3 유휴 데이터 처리
          1. 23.3.1 조인을 사용하여 입력 스트림을 풍부하게 만들기
       4. 23.4 조인 최적화
       5. 23.5 스트리밍 애플리케이션에서 참조 데이터셋 업데이트하기
          1. 23.5.1 참조 데이터셋으로 예제 강화하기
       6. 23.6 요약
    9. 24장 체크포인팅
       1. 24.1 체크포인트 사용법의 이해
       2. 24.2 DStream 체크포인팅
       3. 24.3 체크포인트에서 복구
          1. 24.3.1 제한 사항
       4. 24.4 체크포인팅 비용
       5. 24.5 체크포인트 튜닝
    10. 25장 스파크 스트리밍 모니터링
        1. 25.1 스트리밍 UI
        2. 25.2 스트리밍 UI를 이용하여 잡 성능 이해하기
           1. 25.2.1 입력 속도 차트
           2. 25.2.2 스케줄링 지연 차트
           3. 25.2.3 처리 시간 차트
           4. 25.2.4 전체 지연 차트
           5. 25.2.5 배치 상세
        3. 25.3 REST API 모니터링
           1. 25.3.1 모니터링 REST API 사용하기
           2. 25.3.2 모니터링 REST API에 의해 노출되는 정보
        4. 25.4 지표 하위시스템
        5. 25.5 내부 이벤트 버스
           1. 25.5.1 이벤트 버스와 상호작용
        6. 25.6 요약
    11. 26장 성능 튜닝
        1. 26.1 스파크 스트리밍의 성능 밸런스
           1. 26.1.1 배치 간격과 처리 지연 간의 관계
           2. 26.1.2 실패한 잡의 마지막 순간
           3. 26.1.3 자세히 살펴보기: 스케줄링 지연과 처리 지연
           4. 26.1.4 처리 시간에 대한 체크포인트 영향
        2. 26.2 잡의 성능에 영향을 미치는 외부 요소
        3. 26.3 성능을 향상시킬 수 있는 방법
        4. 26.4 배치 간격 조정하기
        5. 26.5 고정 속도 스로틀링을 통한 데이터 수신 제한
        6. 26.6 백프레셔
        7. 26.7 동적 스로틀링
           1. 26.7.1 백프레셔 PID 튜닝
           2. 26.7.2 사용자 정의 속도 추정기
           3. 26.7.3 대안 동적 처리 전략에 대한 참고 사항
        8. 26.8 캐싱
        9. 26.9 추측적 실행
13. 4부 고급 스파크 스트리밍 기술
    1. 27장 스트리밍 근사 및 샘플링 알고리즘
       1. 27.1 정확성, 실시간 그리고 빅데이터
          1. 27.1.1 정확성
          2. 27.1.2 실시간 처리
          3. 27.1.3 빅데이터
       2. 27.2 정확성, 실시간 그리고 빅데이터 삼각형
          1. 27.2.1 빅데이터와 실시간
       3. 27.3 근사 알고리즘
       4. 27.4 해싱과 스케칭: 소개
       5. 27.5 고유 요소 계산: HyperLogLog (1/2)
       6. 27.5 고유 요소 계산: HyperLogLog (2/2)
          1. 27.5.1 역할극 연습: 만약 우리가 시스템 관리자라면
          2. 27.5.2 스파크의 실용적인 HyperLogLog
       7. 27.6 카운팅 요소 빈도: 최소 스케치 카운트
          1. 27.6.1 블룸 필터 소개
          2. 27.6.2 블룸 필터와 스파크
          3. 27.6.3 Count-Min 스케치로 빈도수 계산
       8. 27.7 순위와 분위수: T-다이제스트
          1. 27.7.1 스파크에서 T-다이제스트
       9. 27.8 요소 수 줄이기: 샘플링
          1. 27.8.1 랜덤 샘플링
          2. 27.8.2 계층화된 샘플링
    2. 28장 실시간 머신러닝
       1. 28.1 나이브 베이즈를 이용한 스트리밍 분류
          1. 28.1.1 streamDM 소개
          2. 28.1.2 실전에서의 나이브 베이즈
          3. 28.1.3 영화 리뷰 분류기 학습
       2. 28.2 의사 결정 트리 소개
       3. 28.3 Hoeffding 트리
          1. 28.3.1 실전 스파크 상에서의 Hoeffding 트리
       4. 28.4 온라인 K-평균을 사용한 스트리밍 클러스터링 (1/2)
       5. 28.4 온라인 K-평균을 사용한 스트리밍 클러스터링 (2/2)
          1. 28.4.1 K-평균 클러스터링
          2. 28.4.2 온라인 데이터와 K-평균
          3. 28.4.3 감쇠 클러스터의 문제점
          4. 28.4.4 스파크 스트리밍으로 K-평균 스트리밍
14. 5부 아파치 스파크를 넘어
    1. 29장 기타 분산 실시간 스트림 처리 시스템
       1. 29.1 아파치 스톰
          1. 29.1.1 처리 모델
          2. 29.1.2 스톰 토폴로지
          3. 29.1.3 스톰 클러스터
          4. 29.1.4 스파크와의 비교
       2. 29.2 아파치 플링크
          1. 29.2.1 스트리밍 우선 프레임워크
          2. 29.2.2 스파크와의 비교
       3. 29.3 카프카 스트림
          1. 29.3.1 카프카 스트림 프로그래밍 모델
          2. 29.3.2 스파크와의 비교
       4. 29.4 클라우드에서
          1. 29.4.1 AWS의 아마존 키네시스
          2. 29.4.2 마이크로소프트 애저 스트리밍 분석
          3. 29.4.3 아파치 빔/구글 클라우드 데이터플로
    2. 30장 미리 살펴보기
       1. 30.1 연결 상태 유지
          1. 30.1.1 스택 오버플로에서 도움 구하기
          2. 30.1.2 메일링 리스트에서 토론 시작하기
          3. 30.1.3 컨퍼런스에 참석하기
       2. 30.2 밋업에 참석하기
          1. 30.2.1 관련 서적 읽기
       3. 30.3 아파치 스파크 프로젝트에 기여하기
15. 찾아보기 (1/2)
16. 찾아보기 (2/2)