
Развертывание модели и совершенствование ее сервиса прогнозирования | 221
Рис. 7.11. Различные вычислительные примитивы и уровни памяти для CPU, GPU и TPU.
Источник: адаптация с рисунка Chen et al.
36
Например, вычислительный примитив CPU ранее был числом (скаляром), вычисли-
тельный примитив GPU — одномерным вектором, однако вычислительный прими-
тив TPU — двумерный вектор (тензор)
B
. При этом выполнение оператора свертки
будет сильно отличаться у одномерных и двумерных векторов.
Кроме того, вам будет необходимо учитывать разные слои L1, L2 и L3 и размеры
буфера, чтобы эффективно их использовать.
Из-за этой проблемы разработчики фреймворков ...