Chapitre 10. Spark : une approche réfléchie de l'IA générative
Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : translation-feedback@oreilly.com
Si tu as déjà créé des pipelines de données dans Spark, tu connais déjà la partie la plus difficile de l’IA générative : acheminer les bonnes données au bon endroit, de manière répétée, dans des conditions réelles.
L'IA générative n'a pas remplacé les pipelines, elle les a rendus plus utiles. L'entraînement et l'inférence ne valent que par la qualité des workflows qui les entourent : préparation des ensembles de données, filtrage, gouvernance, évaluation et exécution évolutive. C'est là que Spark est dans son élément. Au fil du temps, Spark a évolué pour devenir bien plus qu'un simple outil. Il se forge progressivement une place dans le monde de l'IA générative, non pas à travers des promesses tape-à-l'œil, mais grâce à une évolution discrète et réfléchie.
Imagine que tu entraînes un modèle génératif profond avec Spark. Pas sur des systèmes spécialisés et coûteux, mais sur un cluster Spark qui évolue au rythme de tes données. Spark rend cela possible grâce à une évolutivité soignée et une intégration bien pensée, transformant ainsi des projets d’IA ambitieux en réalités gérables.
On a vu Spark ouvrir des possibilités telles que :
-
Génération de descriptions de produits pour le commerce électronique, adaptées aux besoins des clients
-
Créer des visuels à partir des prompts des utilisateurs, ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access