머신러닝 시스템 설계

270

머신러닝 시스템 설계

연산자 융합(

Operator

fusion

)

중복 메모리 액세스를 방지하기 위해 여러 연산자를 하나로 통합합니다. 예를 들어, 한

배열에 두 작업을 수행하려면 해당 배열에 루프가 두 개 필요하지만 융합된 경우에는

하나가 됩니다. [그림

7

-

13

]은 연산자 융합 예시를 나타냅니다.

그림

7-13

연산자 융합 예시(출처: 마티아스 보엠의 이미지

54

를 각색함)

속도를 훨씬 크게 향상하려면 계산 그래프의 상위 수준 구조를 활용해야 합니다. 예를

들어, [그림

7

-

14

]와 같이 계산 그래프가 있는 합성곱 신경망은 메모리 액세스를 줄이

고 모델 속도를 높이기 위해 수직 혹은 수평으로 융합됩니다.

54

Boehm

,

M

. (

2019

,

April

5

).

Architecture

of

ML

systems

04

Operator

Fusion

and

Runtime

Adaptation

.

Github

.

https://oreil

.

ly/py43J

271

7

장

모델 배포와 예측 서비스

다음 입력

다음 입력

다음 입력

그래프 최적화

입력 입력

원본 그래프 수평 융합

수직 융합

그림

7-14

합성곱 신경망 ...