Skalierung von Python mit Dask

Anhang A. Wichtige Systemkonzepte für Dask-Benutzer

Wir haben in diesem Buch einige Konzepte verteilter Systeme kurz behandelt, aber wenn du dich darauf vorbereitest, auf eigene Faust zu arbeiten, ist es eine gute Idee, einige der Kernkonzepte, auf denen Dask aufbaut, zu wiederholen. In diesem Anhang erfährst du mehr über die wichtigsten Prinzipien von Dask und wie sie sich auf den Code auswirken, den du auf Dask schreibst.

Testen

Testen ist ein oft übersehener Teil von Data Science und Data Engineering. Einige unserer Tools, wie SQL und Jupyter-Notebooks, fördern das Testen nicht oder machen es nicht einfach - aber das entbindet uns nicht von der Verantwortung, unseren Code zu testen. Datenschutzbedenken können eine weitere Herausforderung darstellen, wenn wir keine Nutzerdaten für Tests speichern wollen. Dann müssen wir uns die Mühe machen, "gefälschte" Daten für Tests zu erstellen oder unseren Code in testbare Komponenten aufzuteilen, für die wir keine Nutzerdaten benötigen.

Manuelle Prüfung

Beim Schreiben von Software oder Datentools führen wir oft eine Art manuelle Prüfung durch. Das kann bedeuten, dass wir das Tool einfach ausführen und die Ergebnisse mit dem Auge überprüfen, um zu sehen, ob sie vernünftig aussehen. Manuelle Tests sind zeitaufwändig und nicht automatisch wiederholbar. Sie sind zwar während der Entwicklung gut, aber für langlebige Projekte nicht ausreichend.

Einheitstest

Unit-Tests beziehen sich auf das Testen einzelner Codeeinheiten und nicht auf das ...