데이터 엔지니어를 위한 97가지 조언

55 파이프의 꿈

 

스콧 하인즈(Scott Haines)

시니어 수석 소프트웨어 엔지니어/소프트웨어 아키텍트

컴퓨터 시스템 아키텍처의 미묘하고 새로운 패러다임 중 하나는 메시지 전달이라는 개념입니다. 메시지 전달이라는 단순하지만 유용한 구조는 단일 컴퓨터 운영 체제 내부의 프로세스(애플리케이션, 커널 작업 등)가 통신에 참여할 수 있게 함으로써 병렬 처리 성능을 크게 향상시켰습니다. 메시지 전달을 통해 프로세스가 동기적 또는 비동기적으로 통신에 참여할 수 있으며, 잠금과 동기화에 대한 부담 없이 여러 애플리케이션에 작업을 분산할 수 있다는 것이 장점입니다.

단일 시스템 안에서 병렬 처리 작업을 해결하는 이 새로운 접근 방식은 서비스형 메시지 큐queue의 등장으로 분산 시스템 처리까지 포함하도록 확장되었습니다. 기본 메시지 큐 덕분에 한 개 이상의 채널(토픽)을 네트워크 주소로 지정 가능한 위치(예: IP 주소나 포트)에서 서비스로 실행할 수 있는 분산 선입선출(FIFO) 큐로 생성할 수 있게 되었습니다. 이제 여러 서버에 걸쳐 있는 다수의 시스템에 작업이 세분화된 분산 공유 작동 방식으로 통신할 수 있습니다.

파이프라인 아키텍처가 네트워크 주소 지정이 가능한 메시지 큐를 통해 통신하는 분산 시스템의 개념에서 어떻게 발전했는지를 개념화하는 ...