Escalar el aprendizaje automático con Spark

Capítulo 7. Tendiendo puentes entre Spark y los marcos de aprendizaje profundo

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Hasta ahora, el enfoque principal de este libro ha sido aprovechar las capacidades de Spark para escalar cargas de trabajo de aprendizaje automático. Pero Spark es a menudo una elección natural para cargas de trabajo analíticas escalables, y en muchas organizaciones, los científicos de datos pueden aprovechar los equipos existentes que lo soportan. En este escenario, los científicos de datos, los ingenieros de datos, los ingenieros de aprendizaje automático y los ingenieros analíticos son todos consumidores y/o creadores de los datos y comparten la responsabilidad de la infraestructura de aprendizaje automático. El uso de una herramienta escalable, polivalente y genérica como Apache Spark facilita este trabajo colaborativo.

Pero aunque Spark es un potente motor de propósito general con ricas capacidades, carece de algunas características críticas necesarias para soportar plenamente flujos de trabajo de aprendizaje profundo escalables. Ésta es la maldición natural de los marcos de desarrollo: en el mundo distribuido, todo marco necesita tomar decisiones a nivel de infraestructura que luego limitan las posibilidades de la API y constriñen su rendimiento. Las limitaciones de Spark están ligadas sobre todo a su premisa subyacente de que todas las implementaciones de algoritmos deben poder ...