Skalierung von Machine Learning mit Spark

Kapitel 4. Dateneingabe, Vorverarbeitung und deskriptive Statistik

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Wahrscheinlich kennst du die Redewendung "Garbage in, garbage out". Er drückt gut aus, dass fehlerhafte, falsche oder unsinnige Dateneingaben immer zu fehlerhaften Ergebnissen führen. Im Zusammenhang mit maschinellem Lernen unterstreicht er auch die Tatsache, dass die Aufmerksamkeit, die wir dem Einlesen, der Vorverarbeitung und dem statistischen Verständnis unserer Daten (dem Erforschen und Aufbereiten) widmen, einen Einfluss auf den Erfolg des gesamten Prozesses hat. Eine fehlerhafte Dateneingabe hat direkte Auswirkungen auf die Qualität der Daten, ebenso wie eine fehlerhafte Vorverarbeitung. Um ein Gefühl für die vorliegenden Daten und ihre Korrektheit zu bekommen, setzen wir deskriptive Statistiken ein; das ist ein wichtiger Teil des Prozesses, denn so können wir überprüfen, ob die verwendeten Daten von guter Qualität sind. Data Scientists, Machine Learning Engineers und Data Engineers verbringen oft viel Zeit damit, diese wichtigen Schritte zu erforschen und zu verbessern, und ich werde dich in diesem Kapitel durch sie führen.

Bevor wir beginnen, wollen wir den Ablauf verstehen. Gehen wir davon aus, dass sich unsere Daten zu Beginn auf der Festplatte, in einer Datenbank oder in einem Cloud Data Lake befinden. Hier sind die Schritte, die wir befolgen, um ein Verständnis für unsere ...