데이터 엔지니어를 위한 97가지 조언

78 데이터 엔지니어링에서 중요한 3R

 

토비아스 메이시(Tobias Macey)

학교에서는 읽기reading, 쓰기writing, 산수arithmetic를 통틀어 학생들이 배워야 하는 세 개의 R이라고 합니다(물론 세 단어 중 R로 시작하는 것은 하나뿐이라 납득하긴 어렵네요!). 여러분이 데이터 엔지니어가 되었을 때 꼭 알아야 하는 R로 시작하는 단어 3가지를 살펴봅시다.

 

 

¦ 신뢰성 ¦

신뢰성reliability은 데이터의 가장 중요한 특징입니다. 세상의 그 어떤 멋진 머신 러닝이나 정교한 알고리즘이라도 너저분하고 일관적이지 않은 데이터를 제공한다면 아무런 소용이 없습니다. 데이터가 잘못되면 시스템은 정상적이고 아름다우며 가치 있는 제품이 아니라 시간과 야망을 좀먹는 무시무시한 괴물이 될 것입니다.

신뢰성이 의미하는 바는 여러 가지일 수 있지만, 여기서는 수행 중인 분석이 정확하다고 추정하기 위한 신뢰도를 높이는 데 기여하는 특성을 의미합니다. 신뢰할 수 있는 데이터 플랫폼의 몇 가지 요소는 다음과 같습니다.

 

• 일관적이고 검증된 스키마: 모든 레코드가 동일한 패턴을 따르며 분석 프로세스가 동일한 방식으로 레코드를 처리할 수 있습니다.

• 읽기 및 쓰기 작업 성공을 보장하는 시스템의 높은 가용성: 이를 위해서는 불가피한 서버와 ...