
186 | Глава 6
ли с учетом обновлений градиента (оптимизаторы и обучение подробнее рассмот-
рены в разд. «Basic ML Reviews» версии книги, выложенной на GitHub
18
). В числе
популярных оптимизаторов, как вы уже, наверное, знаете, числятся Adam,
Momentum, SGD и другие. Теоретически вы можете использовать оптимизаторы
как строительные блоки в NAS и поискать среди них тот, что работает лучше
остальных. Но на деле это сложно сделать, поскольку оптимизаторы чувствительны
к настройке гиперпараметров, а гиперпараметры по умолчанию не всегда хорошо
работают в разных архитектурах.
Это приводит к интересному направлению в исследованиях ...