ML et IA générative dans le lac de données (French Edition)

Chapitre 6. Le ML à grande échelle

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Le ML est rapidement passé d’un domaine de recherche expérimental à un pilier essentiel pour les organisations modernes axées sur les données. À mesure que les sources de données se multiplient, des bases de données transactionnelles aux appareils IoT en passant par les flux des réseaux sociaux, les entreprises se retrouvent confrontées à des ensembles de données qui croissent de manière exponentielle. Les outils de ML traditionnels à nœud unique, tels que scikit-learn, peuvent traiter efficacement des volumes de données modérés, mais deviennent souvent des goulots d’étranglement face à l’ampleur et à la complexité des environnements d’entreprise. Même lorsqu’ils sont déployés sur la plateforme Databricks, ces kits d’outils n’utilisent généralement qu’un seul nœud pour le traitement, ne tirant pas pleinement parti des capacités de calcul distribué de Databricks.

Ce chapitre explore comment la plateforme Databricks Lakehouse, Apache Spark et Delta Lake forment ensemble une solution robuste et évolutive pour le ML d'entreprise. En combinant le calcul distribué avec les transactions ACID, l’application des schémas et une interface unifiée pour l’ingénierie des données et l’analyse, ces technologies permettent aux professionnels de passer en toute transparence de l’ingestion de données brutes à l’entraînement de modèles ...