
Генеративно-состязательные сети и синтез новых данных
591
Рис. 17.14. Процесс пакетной нормализации
На первом этапе BatchNorm вычисляются среднее значение µ
B
и стандартное отклоне-
ние σ
B
мини-пакета. И тот и другой являются векторами размером c (где c — количест-
во каналов). Затем эти статистические данные используются на шаге 2 для масштаби-
рования примеров в каждом мини-пакете с помощью нормализации z-оценки (стандар-
тизации), в результате чего получаются стандартизированные действующие входные
данные
()
i
std
.Z После нормализации эти входные данные центрированы по среднему и
имеют единичную дисперсию, что обычно полезно