Skalierung von Machine Learning mit Spark

Kapitel 1. Terminologie und Konzepte des verteilten maschinellen Lernens

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Erinnerst du dich an , als Datenwissenschaftler ihre Algorithmen für maschinelles Lernen auf Datensätzen laufen ließen, die in den Speicher eines Laptops passten? Oder ihre eigenen Daten generierten? Das lag nicht daran, dass es in der Welt an Daten mangelte; wir waren bereits in der Zettabyte-Ära angekommen.¹ Für viele waren die Daten zwar vorhanden, aber sie waren in den Produktionssystemen eingeschlossen, die Daten in großem Umfang erstellten, erfassten, kopierten und verarbeiteten. Datenwissenschaftler/innen wussten, dass sie durch den Zugriff auf die Daten bessere und tiefgreifendere Modelle für maschinelles Lernen erstellen konnten. Aber das war nicht das einzige Problem - was war mit der Berechnung? In vielen Fällen hatten Datenwissenschaftler/innen keinen Zugang zu ausreichender Rechenleistung oder Werkzeugen, um Algorithmen für maschinelles Lernen auf großen Datensätzen auszuführen. Deshalb mussten sie ihre Daten stichprobenartig erfassen und mit CSV- oder Textdateien arbeiten.

Als die öffentliche Cloud-Revolution um 2016-2017 stattfand, konnten wir endlich die gewünschte Rechenkapazität in Anspruch nehmen. Alles, was wir brauchten, war eine Kreditkarte in der einen und eine Computermaus in der anderen Hand. Ein Mausklick und schon standen uns Hunderte von ...