
Разработка модели и ее автономная оценка | 181
Другая проблема заключается в том, что распараллеливание вашей модели на не-
сколько машин может привести к тому, что размер пакета станет очень большим.
Если одна машина обрабатывает пакет размером 1000 признаков, то 1000 машин
уже обрабатывают пакет размером 1 млн признаков (в 2020 году OpenAI GPT-3
175B работает с пакетом размером 3,2 млн признаков). Но это и упрощает вычис-
ления — если обучение эпохи на машине занимает 1 миллион шагов, то обучение
ее на 1000 машин может занять всего 1000 шагов.
Эпоха здесь означает обучение нейронной сети со всеми обучающими