Spark lernen, 2. Auflage

Kapitel 10. Maschinelles Lernen mit MLlib

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Bis zu diesem Punkt haben wir uns auf Data Engineering Workloads mit Apache Spark konzentriert. Data Engineering ist oft ein vorbereitender Schritt, um deine Daten für Aufgaben des maschinellen Lernens (ML) vorzubereiten, die im Mittelpunkt dieses Kapitels stehen werden. Wir leben in einer Zeit, in der maschinelles Lernen und Anwendungen der künstlichen Intelligenz ein fester Bestandteil unseres Lebens sind. Ob wir uns dessen bewusst sind oder nicht, kommen wir jeden Tag mit ML-Modellen in Berührung, z. B. für Online-Einkaufsempfehlungen und -Werbung, Betrugserkennung, Klassifizierung, Bilderkennung, Mustervergleich und vieles mehr. Für viele Unternehmen sind diese ML-Modelle die Grundlage für wichtige Geschäftsentscheidungen. Laut dieser McKinsey-Studie werden 35 % der Käufe auf Amazon und 75 % der Käufe auf Netflix durch auf maschinellem Lernen basierende Produktempfehlungen gesteuert. Die Entwicklung eines leistungsstarken Modells kann über Erfolg oder Misserfolg eines Unternehmens entscheiden.

In diesem Kapitel erfahren Sie, wie Sie ML-Modelle mit MLlib, der De-facto-Bibliothek für maschinelles Lernen in Apache Spark, erstellen können. Wir beginnen mit einer kurzen Einführung in das maschinelle Lernen und behandeln dann bewährte Methoden für verteiltes maschinelles Lernen und Feature-Engineering im großen ...