Analítica avanzada con PySpark

Capítulo 10. Detección de similitud de imágenes conaprendizaje profundo y PySpark LSH

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Tanto si las encuentras en las redes sociales como en las tiendas de comercio electrónico, las imágenes forman parte integral de nuestra vida digital. De hecho, fue un conjunto de datos de imágenes -ImageNet- el componente clave que desencadenó la actual revolución del aprendizaje profundo. El notable rendimiento de un modelo de clasificación en el reto ImageNet 2012 fue un hito importante y suscitó una atención generalizada. No es de extrañar, pues, que en algún momento te encuentres con datos de imágenes como profesional de la ciencia de datos.

En este capítulo, adquirirás experiencia escalando un flujo de trabajo de aprendizaje profundo para una tarea visual, a saber, la detección de similitud de imágenes, con PySpark. La tarea de identificar imágenes que son similares entre sí resulta intuitiva para los humanos, pero es una tarea computacional compleja. A escala, se hace aún más difícil. En este capítulo, presentaremos un método aproximado para encontrar elementos similares llamado locality sensitive hashing, o LSH, y lo aplicaremos a las imágenes. Utilizaremos el aprendizaje profundo para convertir los datos de las imágenes en una representación vectorial numérica. Aplicaremos el algoritmo LSH de PySpark a los vectores resultantes, lo que nos permitirá encontrar imágenes similares ...