Patrones de diseño de aprendizaje automático
by Valliappa Lakshmanan, Sara Robinson, Michael Munn
Capítulo 4. Patrones de entrenamiento del modelo
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
Los modelos de aprendizaje automático suelen entrenarse de forma iterativa, y este proceso iterativo se denomina informalmente bucle de entrenamiento. En este capítulo, discutiremos cómo es el típico bucle de entrenamiento, y catalogaremos una serie de situaciones en las que podrías querer hacer algo diferente.
Bucle de entrenamiento típico
Los modelos de aprendizaje automático pueden entrenarse utilizando distintos tipos de optimización. Los árboles de decisión suelen construirse nodo a nodo basándose en una medida de ganancia de información. En los algoritmos genéticos, los parámetros del modelo se representan como genes, y el método de optimización implica técnicas basadas en la teoría evolutiva. Sin embargo, el enfoque más común para determinar los parámetros de los modelos de aprendizaje automático es el descenso de gradiente.
Descenso Gradiente Estocástico
En grandes conjuntos de datos, el descenso gradiente se aplica a minilotes de datos de entrada para entrenar desde modelos lineales y árboles potenciados hasta redes neuronales profundas (DNN) y máquinas de vectores de soporte (SVM). Esto se denomina descenso de gradiente estocástico (SGD), y las extensiones de SGD (como Adam y Adagrad) son los optimizadores de facto utilizados en los marcos de aprendizaje automático actuales.
Como el SGD requiere que el ...