데이터 엔지니어를 위한 97가지 조언

12 변경 데이터 캡처

 

라고담 머시(Raghotham Murthy)

변경 데이터 캡처Change Data Capture, CDC는 어떤 특정한 문제를 해결하는 솔루션입니다. 프로덕션 데이터베이스에는 가장 중요한 데이터가 들어 있습니다. 그 데이터를 분석하고 싶지만 프로덕션 데이터베이스에 부하를 추가하고 싶지는 않을 때, 데이터 웨어하우스나 데이터 레이크data lake를 사용할 수 있습니다. 만약 다른 시스템에서 프로덕션 데이터베이스에 있는 데이터를 분석하기로 결정했다면 프로덕션 데이터베이스부터 데이터 웨어하우스까지 데이터를 복제할 안정적인 방법이 필요합니다.

하지만 대규모 상황에서는 그리 간단한 문제가 아닙니다. 일단 프로덕션 데이터베이스에서 웨어하우스로 데이터를 복사할 수 없습니다. 그렇게 하면 프로덕션 데이터베이스의 부하가 훨씬 더 커지기 때문입니다. 특히 충실도를 높이려고 할수록 그렇습니다. 변경된 레코드만 가져올 경우에는 삭제해야 하는 데이터를 놓칠 수 있습니다.

다행히도 요즘의 프로덕션 데이터베이스는 모두 일반적인 트랜잭션 처리 작업의 일환으로 미리 쓰기 로그Write-Ahead Log, WAL나 변경 로그change log를 작성합니다. 변경 로그는 데이터베이스의 테이블마다 테이블 안의 행/셀 변경 사항 하나하나를 캡처하며, ...