Spark를 사용한 데이터 알고리즘

10장. 실용적인 데이터 디자인 패턴

이 작품은 AI를 사용하여 번역되었습니다. 여러분의 피드백과 의견을 환영합니다: [e-mail]

이 장의 목표는 일반적인 데이터 문제를 해결하는 데 유용한 몇 가지 실용적인 데이터 디자인 패턴을 소개하는 것입니다. 빅 데이터 솔루션에 사용되고 프로덕션 환경에 배포되는 실제 디자인 패턴에 초점을 맞출 것입니다.

이전 장에서와 마찬가지로 간단한 예제를 통해 각 변환의 용도를 설명하고 Spark의 변환을 사용하여 변환을 구현하는 방법을 보여드리겠습니다. 또한 축소 변환을 더 잘 이해할 수 있도록 모노이드의 개념에 대해 자세히 설명하겠습니다.

최고의 디자인 패턴 책은 대표적인 컴퓨터 과학 책인디자인 패턴입니다: 재사용 가능한 객체 지향 소프트웨어의 요소 ("4인방"으로 알려진 에리히 감마, 리차드 헬름, 랄프 존슨, 존 블리사이드의 저서)입니다. 이 글에서는 '4인조'의 책에 나오는 것과 유사한 데이터 디자인 패턴을 제시하기보다는 프로덕션 환경에서 사용되어 온 실용적이고 비공식적인 데이터 디자인 패턴에 초점을 맞추고자 합니다.

이 장에서 다룰 데이터 디자인 패턴은 Spark 클러스터에 배포할 확장 가능한 솔루션을 작성하는 데 도움이 될 수 있습니다. 그러나 디자인 패턴을 채택하고 사용하는 데 있어서는 만병통치약이 없다는 점에 유의하세요. 모든 패턴은 프로덕션 환경과 유사한 환경에서 실제 데이터를 사용하여 성능과 확장성을 테스트해야 합니다.

참고

소프트웨어 엔지니어링의 디자인 패턴에 대한 일반적인 소개는 앞서 언급한 디자인 패턴을 참조하세요: 재사용 가능한 객체 지향 소프트웨어의 요소 에리히 감마, 리차드 헬름, 랄프 존슨, 존 블리스사이드(Addison-Wesley)의 저서를 참조하세요. MapReduce의 디자인 패턴에 대해 자세히 알아보려면 Donald Miner와 Adam Shook의 MapReduce 디자인 패턴과 제 저서인 데이터 알고리즘 (둘 다 O'Reilly에서 발행)을 참조하세요.

이 장에서 다룰 디자인 패턴은 다음과 같습니다:

• 인-매퍼 결합

• Top-10

• MinMax

• 복합 패턴/모노이드

• 비닝

• 정렬

인매퍼 컴바이너를 사용하는 유용한 요약 디자인 패턴부터 시작하겠습니다.

소스 코드

이 장의 전체 프로그램은 이 책의GitHub 리포지토리에서 확인할 수 있습니다.

인-매퍼 결합

맵리듀스 패러다임에서 결합기(세미 리듀서라고도 함)는 각 워커에서 로컬로 실행되어 네트워크를 통해 리듀서로 전송되기 전에 데이터를 집계하는 프로세스입니다. Hadoop과 같은 프레임워크에서는 일반적으로 선택적 로컬 최적화로 간주됩니다. 인매퍼 결합기는 로컬 디스크에 모두 기록한 다음 키별로 값을 집계하는 대신 매퍼로부터 각 (키, 값) 쌍을 수신할 때 메모리에서 집계를 수행하여 추가 최적화를 수행합니다. (Spark는 모든 처리를 메모리에서 수행하므로 기본적으로 이렇게 작동합니다.) 인매퍼 결합 디자인 패턴의 목표는 매퍼가 출력을 최대한 효율적으로 결합하고 ...