세 가지 패턴 모두 저마다 개성이 뚜렷하지만 한 가지 공통점이 있습니다. (출력 이벤트 레코
드 헤더에 있는) 소스 레코드의 최근 업데이트 시간(
updated
_
at
) 컬럼을 이용해 이벤트를 타
임스탬프 순서대로 생산해야 한다는 점입니다. 따라서 프로듀서가 이벤트를 발행한 시간이 아
닌, 이벤트 자체가 발생한 시간이 타임스탬프로 찍힌 이벤트 스트림이 생성됩니다. 데이터 해
방에서는 실제로 이벤트가 워크플로에서 발생한 시간을 정확하게 나타낼 수 있어야 하므로 아
주 중요한 문제입니다. 타임스탬프 기반의 인터리빙에 대해서는
6
장에서 더 자세히 다룹니다.
4.3
데이터 해방 프레임워크
데이터를 해방하는 한 가지 방법은, 데이터를 이벤트 스트림으로 추출하는 카프카 커넥트
Kafka
Connect
3
(카프카 플랫폼 전용), 아파치 고블린
Apache
Gobblin
4
, 아파치 나이파이
Apache
NiFi
5
같은 중앙
화 프레임워크를 사용하는 것입니다. 이런 프레임워크를 사용하면 하부 데이터 세트를 쿼리한
결과를 출력 이벤트 스트림에 흘릴 수 있고 필요시 인스턴스를 더 추가해서
CDC
작업 용량을
늘리는 식으로 확장할 수도 있습니다. 또 이들은 컨플루언트
Confluent
(아파치 카프카)
6
가 개발한
스키마 레지스트리와 다양한 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.
Julian F.
Head of Cybersecurity
I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.
Addison B.
Field Engineer
I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.
Amir M.
Data Platform Tech Lead
I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.