모든 기업은 데이터를 기반으로 운영됩니다. 우리는 정보를 수집하고, 분석하고, 조작하고, 더 많은 정보를 산출물로 만들어냅니다. 로그 메시지, 메트릭, 사용자 활동, 발신 메시지 등 모든 애플리케이션은 데이터를 생성합니다. 데이터의 모든 바이트에는 다음에 수행할 작업을 알려주는 중요한 스토리가 있습니다. 그것이 무엇인지 알기 위해서는 데이터가 생성된 곳에서 분석할 수 있는 곳까지 데이터를 가져와야 합니다. 아마존과 같은 웹사이트에서는 관심 있는 상품을 클릭한 것이 나중에 추천 상품으로 전환되어 표시되는 것을 매일 볼 수 있습니다.
이 작업을 더 빠르게 수행할수록 조직은 더욱 민첩하고 신속하게 대응할 수 있습니다. 데이터를 이동하는 데 드는 노력을 줄일수록 당면한 핵심 비즈니스에 더 집중할 수 있습니다. 이것이 바로 데이터 기반 기업에서 파이프라인이 중요한 요소인 이유입니다. 데이터를 이동하는 방법은 데이터 자체만큼이나 중요해졌습니다.
과학자들이 의견이 일치하지 않을 때마다 데이터가 충분하지 않기 때문입니다. 그러면 어떤 종류의 데이터를 확보할지 합의하고, 데이터를 확보하고, 데이터를 통해 문제를 해결할 수 있습니다. 내가 맞거나, 당신이 맞거나, 아니면 둘 다 틀릴 수도 있습니다. 그리고 계속 나아갑니다.
닐 드그래스 타이슨
메시지 게시/구독
Apache Kafka의 구체적인 내용을 논의하기 전에 게시/구독 메시징( )의 개념과 이것이 데이터 기반 애플리케이션의 중요한 구성 요소인 이유를 이해하는 것이 중요합니다. 게시/구독 (pub/sub) 메시징은 데이터(메시지)의 발신자(게시자)가 수신자에게 특별히 지시하지 않는 것이 특징인 패턴입니다. 대신 게시자가 어떤 식으로든 메시지를 분류하고 해당 수신자(구독자)가 특정 클래스의 메시지를 수신하도록 구독합니다. 게시/구독 시스템에는 메시지가 게시되는 중앙 지점인 브로커가 있어 이 패턴을 용이하게 하는 경우가 많습니다.
시작 방법
게시/구독에 대한 많은 사용 사례는 간단한 메시지 큐 또는 프로세스 간 통신 채널을 사용하는 것과 같은 방식으로 시작됩니다. 예를 들어, 모니터링 정보를 어딘가로 보내야 하는 애플리케이션을 만들면 그림 1-1에서 보는 것처럼 애플리케이션에서 대시보드에 메트릭을 표시하는 앱으로 직접 연결을 열고 해당 연결을 통해 메트릭을 푸시합니다.
그림 1-1. 단일의 직접 메트릭 게시자
이것은 모니터링을 처음 시작할 때 효과가 있는 간단한 문제에 대한 간단한 해결책입니다. 얼마 지나지 않아 장기적으로 메트릭을 분석하고 싶지만 대시보드에서 제대로 작동하지 않는다고 결정합니다. 메트릭을 수신하고, 저장하고, 분석할 수 있는 새로운 서비스를 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
