Spark를 사용한 데이터 알고리즘

9장. 클래식 데이터 디자인 패턴

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

이 장에서는 대부분의 빅 데이터 솔루션에 사용되는 가장 기본적이고 고전적인 데이터 디자인 패턴에 대해 설명합니다. 이러한 디자인 패턴은 단순한 디자인 패턴이지만 많은 일반적인 데이터 문제를 해결하는 데 유용하며, 이 책의 예제에서 많은 디자인 패턴을 사용했습니다. 이 장에서는 다음 디자인 패턴의 PySpark 구현을 소개합니다:

1. 입력-맵-출력

2. 입력-필터-출력

3. 입력-맵-축소-출력

4. 입력-다중-맵-축소-출력

5. 입력-맵-결합기-축소-출력

6. 입력-맵 파티션-축소-출력

7. 입력-반전-인덱스-패턴-출력

소스 코드

이 장의 전체 프로그램은 이 책의 GitHub 리포지토리에서 확인할 수 있습니다.

하지만 시작하기 전에 "디자인 패턴"이 무엇을 의미하는지에 대해 먼저 말씀드리고 싶습니다. 컴퓨터 과학과 소프트웨어 공학에서 디자인 패턴은 일반적으로 발생하는 문제가 주어졌을 때 그 문제에 대한 재사용 가능한 해결책입니다. 디자인 패턴은 문제를 해결하는 방법에 대한 템플릿 또는 모범 사례이지 코드로 바로 변환할 수 있는 완성된 디자인이 아닙니다. 이 장에서 소개하는 패턴은 다양한 데이터 분석 작업을 처리할 수 있는 능력을 갖추게 해줍니다.

참고

이 장에서 설명하는 데이터 설계 패턴은 기본 패턴입니다. 요구 사항에 따라 자신만의 패턴을 만들 수 있습니다. 추가 예제는"MapReduce: 대규모 클러스터에서의 간소화된 데이터 처리"를 참조하세요(Jeffrey Dean과 Sanjay Ghemawat 작성).

MapReduce와 Spark 비교

MapReduce는 Hadoop 클러스터의 수백 또는 수천 대의 서버에서 대규모 병렬 및 분산 확장을 가능하게 하는 프로그래밍 패러다임입니다. 일반적인 MapReduce 작업은 드라이버와 세 가지 함수로 구성됩니다: map(), reduce(), 그리고 선택적 로컬 리듀서인 combine() 로 구성됩니다. map() 함수는 Spark의 map(), flatMap(), filter() 과 동등한 기능을 제공하며, reduce() 함수는 Spark의 reduceByKey(), groupByKey() 과 동등한 기능을 제공합니다. 그러나 앞서 살펴본 것처럼, Spark의 구현은 이러한 기능에만 국한되지 않습니다. 맵리듀스의 상위 집합으로 생각할 수 있으며, 더 높은 수준의 데이터 추상화(RDD 및 데이터 프레임)와 데이터 문제 해결을 위한 매우 풍부한 API를 제공합니다. 여기에 소개된 데이터 설계 패턴의 구현은 MapReduce 패러다임이 아닌 PySpark를 사용합니다.

입력-맵-출력

입력-맵-출력은 데이터 분석을 위한 가장 간단한 디자인 패턴으로, 그림 9-1에서 볼 수 있듯이 파일 세트에서 입력을 읽은 다음 각 레코드에 일련의 함수를 적용하고 마지막으로 원하는 출력을 생성합니다. 매퍼가 입력에서 생성할 수 있는 것에는 제한이 ...