Procesamiento de flujos con Apache Spark

Capítulo 28. Aprendizaje automático en tiempo real

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

En este capítulo, exploramos cómo construir algoritmos de clasificación y agrupación en línea. Por en línea, queremos decir que estos algoritmos aprenden a producir un resultado óptimo de clasificación y agrupación sobre la marcha, a medida que se les proporcionan nuevos datos.

Nota

Este capítulo asume que tienes conocimientos básicos sobre algoritmos de aprendizaje automático, incluidos conceptos como aprendizaje supervisado y no supervisado, y algoritmos de clasificación frente a los de agrupación. Si quieres un repaso rápido de los conceptos fundamentales del aprendizaje automático, te recomendamos que leas [Conway2012].

En los siguientes apartados, explicamos el entrenamiento de varios algoritmos de aprendizaje automático realizado de forma online, con datos procedentes de un flujo. Antes de eso, reconozcamos que la mayoría de las implementaciones industriales de modelos de aprendizaje automático ya tienen un componente online: realizan el entrenamiento de forma por lotes -con datos en reposo- y lo enlazan con la inferencia online, ya que los ejemplos se leen sobre un flujo de datos y los modelos previamente entrenados se utilizan para puntuar (o predecir) los datos del flujo.

En este sentido, la mayoría de los algoritmos de aprendizaje automático ya se implementan en un contexto de streaming, y Spark ofrece ...