Spark 학습, 제 2판

데이터는 점점 더 커지고, 더 빠르게 도착하며, 다양한 형식으로 제공됩니다. 그리고 이러한 모든 데이터는 분석이나 기계 학습을 위해 대규모로 처리되어야 합니다. 하지만 이렇게 다양한 워크로드를 어떻게 효율적으로 처리할 수 있을까요? Apache Spark를 소개합니다.

Spark 3.0이 포함된 두 번째 버전으로 업데이트된 이 책은 데이터 엔지니어와 데이터 과학자에게 Spark에서 구조와 통합이 중요한 이유를 설명합니다. 특히, 이 책은 간단하고 복잡한 데이터 분석을 수행하고 머신 러닝 알고리즘을 사용하는 방법을 설명합니다. 단계별 안내, 코드 스니펫 및 노트북을 통해 다음을 수행할 수 있습니다.

• Python, SQL, Scala 또는 Java 고급 구조화 API 학습
• Spark 작업 및 SQL 엔진 이해
• Spark 구성 및 Spark UI를 사용하여 Spark 작업을 검사, 조정 및 디버그
• 데이터 소스에 연결: JSON, Parquet, CSV, Avro, ORC, Hive, S3 또는 Kafka
• 구조화된 스트리밍을 사용하여 배치 및 스트리밍 데이터 분석 수행
• 오픈 소스 Delta Lake 및 Spark를 사용하여 신뢰할 수 있는 데이터 파이프라인 구축
• MLlib를 사용하여 머신 러닝 파이프라인을 개발하고 MLflow를 사용하여 모델을 생산 환경에 배포합니다