August 2023
Beginner to intermediate
408 pages
4h 57m
Korean

루스템 페이즈하노프(Rustem Feyzkahanov)
기업 정보 보안 책임자
데이터 처리와 머신 러닝machine learning 처리 파이프라인은 속도가 중요했다. 퍼블릭 클라우드 기술의 시대에 살고 있는 요즘, 어떤 기업이든 추가적인 자원을 확보하는 것은 시간 문제일 뿐이다. 이러한 사실이 우리가 구성해야 할 처리 파이프라인에 대한 시각을 바꾸었다.
실제로 1분 동안 열 개의 서버를 사용하나 한 개의 서버를 10분 동안 사용하나 동일한 비용을 내고 있다. 그래서 최적화를 집중해야 할 영역이 실행 시간에서 확장성 및 병렬성으로 옮겨 가고 있다.
완벽한 데이터 처리 파이프라인을 상상해 보자. 이 파이프라인은 작업 1,000개를 1,000개의 노드에서 병렬로 수행하고 그 결과를 취합해서 알려 준다. 이러한 파이프라인은 어떤 규모에서든 처리 속도는 작업 수에 따라 달라지지 않으며, 항상 단일 작업의 수행 속도와 동일하다.
이것이 완전히 불가능한 상상처럼 보이지는 않는다. 보다 유명해지고 있는 서버리스 인프라에서는 수천 개의 처리 노드를 병렬로 실행할 수 있도록 한다. 이에 더해 많은 업체가 순수한 서비스형 컨테이너container-as-a-service를 제공하고 있다. 예를 들어 도커 이미지를 ...
Read now
Unlock full access