Hochleistungsfunken

Kapitel 8. Prüfung und Validierung

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Automatisierte Tests werden in der Welt von Spark oft übersehen, aber bei langen Batch-Aufträgen und komplexen Streaming-Setups ist die manuelle Überprüfung der Funktionalität zeitaufwändig und fehleranfällig.Mit effektiven Tests können wir schneller entwickeln und das Refactoring für mehr Leistung vereinfachen.

Tests zur Überprüfung der Leistung stellen uns vor allem in verteilten Systemen vor zusätzliche Herausforderungen. Mit den Zählern von Spark können wir jedoch die Ausführungszeitstatistiken aller Worker, die Anzahl der verarbeiteten Datensätze und die Anzahl der gemischten Datensätze abrufen. Diese Zähler können demselben Zweck dienen wie die Systemzeitmessung auf einem Einzelrechnersystem.

Testen ist ein hervorragendes Mittel, um die Arten von Fehlern zu erkennen, die wir uns vorstellen können. Darüber hinaus findet die reale Welt oft neue und aufregende Wege, um unsere Software fehlschlagen zu lassen, und manchmal ist es nicht so offensichtlich wie eine Null-Zeiger-Ausnahme. In diesen Fällen ist es wichtig, dass wir in der Lage sind, den Fehlerzustand zu erkennen, um zu vermeiden, dass wir Entscheidungen mit fehlerhaften Modellen treffen.

Einheitstest

Unit-Tests ermöglichen es uns, uns auf das Testen kleiner Funktionskomponenten mit komplexen Abhängigkeiten (z. B. Datenquellen) zu konzentrieren, die ...