Spark를 사용한 데이터 알고리즘

Apache Spark의 속도, 사용 편의성, 정교한 분석 기능, 다중 언어 지원 덕분에 이 클러스터 컴퓨팅 프레임워크에 대한 실용적인 지식이 데이터 엔지니어와 데이터 과학자에게 필수적인 기술이 되었습니다. 이 실습 가이드를 통해 Spark를 처음 접하는 사람도 PySpark를 사용하여 실용적인 알고리즘과 예제를 배울 수 있습니다.

각 장에서 저자 Mahmoud Parsian은 일련의 Spark 변환 및 알고리즘을 사용하여 데이터 문제를 해결하는 방법을 보여줍니다. ETL, 디자인 패턴, 기계 학습 알고리즘, 데이터 분할 및 유전체 분석과 관련된 문제를 해결하는 방법을 배울 수 있습니다. 각 자세한 레시피에는 PySpark 드라이버 및 셸 스크립트를 사용하는 PySpark 알고리즘이 포함되어 있습니다.

이 책을 통해 다음과 같은 것을 배울 수 있습니다:

• 최적화된 솔루션을 위해 Spark 변환을 선택하는 방법
• reduceByKey(), combineByKey(), mapPartitions() 등 강력한 변환 및 축소 기능을 탐구합니다
• 최적화된 쿼리를 위한 데이터 분할 이해
• PySpark 디자인 패턴을 사용하여 모델을 구축하고 적용합니다.
• 그래프 데이터에 모티프 탐색 알고리즘 적용
• GraphFrames API를 사용하여 그래프 데이터 분석
• PySpark 알고리즘을 임상 및 유전체학 데이터에 적용합니다.
• 머신러닝 알고리즘에서 특징 공학의 사용 및 적용 방법 학습
• 실용적이고 실용적인 데이터 설계 패턴 이해 및 적용