9가지 사례로 익히는 고급 스파크 분석(2판): 현실 세계 빅데이터로 배우는 데이터 과학과 머신러닝

294

9가지 사례로 익히는 고급 스파크 분석 (2판)

이제 이들

9

개의 리드를 수동으로 검사하거나 사용자가 정의한 정렬 도구로 처리하여, 보고된

병원성 변이체가 거짓 양성인지를 검사할 수 있다. 여러분을 위한 연습문제를 하나 준비했다.

7

번 염색체의 평균 범위는 어디까지일까? (주어진 위치에서 유전자형을 결정하기에 너무 낮은

것은 확실하다. )

임상의를 대상으로 한 서비스로 이런 보균자 검출을 수행하는 임상 실험실을 운영한다고 가정

해보자. 원본 데이터를 하둡에 보관하면 상대적으로, 가령 자기 테이프에 보관하는 것과 비교

하면 안전하게 유지되리라 확신할 수 있다. 데이터 처리를 실제로 수행하는 안정적인 시스템을

확보했다는 사실 외에도, 앞에서의

CFTR

사례처럼 품질 관리나 수동 조정이 요구될 때 과거의

모든 데이터에 쉽게 접근할 수 있다. 또한, 데이터가 집중되어 있으니 집단 유전학, 대규모 품

질 관리 분석과 같은 대규모 분석 연구도 쉽게 수행할 수도 있다.

10.2.1

파케이 형식과 열 기반 저장소

앞 절에서 내부 저장소의 세부 구조나 병렬 실행 같은 복잡한 문제는 고민하지 않고도 대량의

염기서열 데이터를 다루는 방법을 알아보았다. 하지만

ADAM

프로젝트 내부에서는 파케이 파

일 포맷을 사용하고 있음은 언급할 필요가 있다. 파케이 파일 포맷이

ADAM ...