Python mit Ray skalieren

Vorwort

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: [e-mail]

Wir haben dieses Buch für Entwickler und Datenwissenschaftler geschrieben, die Anwendungen in Python entwickeln und skalieren wollen, ohne Systemadministratoren zu werden. Wir gehen davon aus, dass dieses Buch vor allem für Einzelpersonen und Teams von Nutzen sein wird, die sich mit der zunehmenden Komplexität und dem Umfang von Problemen befassen, die sich von Single-Thread-Lösungen zu Multithreading bis hin zum verteilten Computing entwickeln.

Du kannst Ray zwar auch in Java verwenden, aber dieses Buch ist in Python geschrieben, und wir gehen davon aus, dass du mit dem Python-Ökosystem vertraut bist. Wenn du dich mit Python nicht auskennst, sind die O'Reilly-Bücher Learning Python von Mark Lutz und Python for Data Analysis von Wes McKinney sehr empfehlenswert.

Serverless ist ein Modewort, und trotz seines Namens beinhaltet das serverlose Modell eine Menge Server, aber die Idee ist, dass du sie nicht explizit verwalten musst. Für viele Entwickler/innen und Datenwissenschaftler/innen ist die Aussicht auf eine magische Skalierung, ohne sich um die Details der Server kümmern zu müssen, sehr verlockend. Wenn du dich hingegen gerne mit den Details deiner Server, Bereitstellungsmechanismen und Load Balancern beschäftigst, ist dieses Buch wahrscheinlich nicht das Richtige für dich - aber hoffentlich wirst du es deinen Kollegen empfehlen.

Was du lernen wirst

In diesem Buch lernst du, wie du deine vorhandenen Python-Kenntnisse nutzen kannst, um Programme über einen einzelnen Rechner hinaus zu skalieren. Du wirst Techniken für verteiltes Rechnen kennenlernen, von Remote Procedure Calls über Actors bis hin zu verteilten Datensätzen und maschinellem Lernen. Zum Abschluss dieses Buches findest du in Anhang A ein "echtes" Beispiel, das viele dieser Techniken nutzt, um ein skalierbares Backend zu erstellen, das in eine Python-basierte Webanwendung integriert und auf Kubernetes deployt wird.

Ein Hinweis zur Verantwortung

Wie das Sprichwort sagt, kommt mit großer Macht auch große Verantwortung. Ray und ähnliche Tools ermöglichen es dir, komplexere Systeme zu entwickeln, die mit mehr Daten und Nutzern umgehen. Es ist wichtig, dass du dich nicht zu sehr davon hinreißen lässt, Probleme zu lösen, weil sie Spaß machen, und dich über die Auswirkungen deiner Entscheidungen Gedanken machst.

Du musst nicht lange suchen, um Geschichten über wohlmeinende Ingenieure und Datenwissenschaftler zu finden, die versehentlich Modelle oder Tools entwickelt haben, die verheerende Auswirkungen hatten, wie z. B. das neue Zahlungssystem des US-Ministeriums für Veteranenangelegenheiten oder Einstellungsalgorithmen, die aufgrund des Geschlechts diskriminieren. Wir bitten dich, dies im Hinterkopf zu behalten, wenn du deine neu gewonnenen Fähigkeiten einsetzt, denn man will nie aus den falschen Gründen in einem Lehrbuch landen.

In diesem Buch verwendete Konventionen

In diesem Buch werden die folgenden typografischen Konventionen verwendet:

Kursiv

Weist auf neue Begriffe, URLs, E-Mail-Adressen, Dateinamen und Dateierweiterungen hin.

Constant width

Wird für Programmlistings sowie innerhalb von Absätzen verwendet, um auf Programmelemente wie Variablen- oder Funktionsnamen, Datenbanken, Datentypen, Umgebungsvariablen, Anweisungen und Schlüsselwörter hinzuweisen.

Constant width italic

Zeigt Text an, der durch vom Benutzer eingegebene Werte oder durch kontextabhängige Werte ersetzt werden soll.

Tipp

Dieses Element steht für einen Tipp oder eine Anregung.

Hinweis

Dieses Element steht für einen allgemeinen Hinweis.

Warnung

Dieses Element weist auf eine Warnung oder einen Warnhinweis hin.

Lizenz

Nach der Veröffentlichung in gedruckter Form und unter Ausschluss der charakteristischen Designelemente von O'Reilly (z. B. Umschlaggestaltung, Designformat, "Look and Feel") oder der Marken, Dienstleistungsmarken und Handelsnamen von O'Reilly ist dieses Buch unter einer Creative Commons Attribution-Noncommercial-NoDerivatives 4.0 International Public License verfügbar. Wir danken O'Reilly dafür, dass wir dieses Buch unter einer Creative Commons-Lizenz zur Verfügung stellen dürfen. Wir hoffen, dass du dieses Buch (und die Autoren) unterstützen wirst, indem du mehrere Exemplare über dein Firmenkonto kaufst (es eignet sich hervorragend als Geschenk für die nächste Weihnachtszeit).

Code-Beispiele verwenden

Das Scaling Python Machine Learning GitHub Repository enthält die meisten Beispiele für dieses Buch. Die meisten Beispiele in diesem Buch befinden sich im Verzeichnis ray_examples. Beispiele, die sich auf Dask auf Ray beziehen, findest du im Verzeichnis dask, und solche, die Spark auf Ray verwenden, im Verzeichnis spark.

Wenn du eine technische Frage oder ein Problem mit den Codebeispielen hast, sende bitte eine E-Mail an [e-mail].

Dieses Buch soll dir helfen, deine Arbeit zu erledigen. Wenn in diesem Buch Beispielcode angeboten wird, darfst du ihn in deinen Programmen und deiner Dokumentation verwenden. Du musst uns nicht um Erlaubnis fragen, es sei denn, du reproduzierst einen großen Teil des Codes. Wenn du zum Beispiel ein Programm schreibst, das mehrere Teile des Codes aus diesem Buch verwendet, brauchst du keine Erlaubnis. Der Verkauf oder die Verbreitung von Beispielen aus O'Reilly-Büchern erfordert jedoch eine Genehmigung. Die Beantwortung einer Frage mit einem Zitat aus diesem Buch und einem Beispielcode erfordert keine Genehmigung. Wenn du einen großen Teil des Beispielcodes aus diesem Buch in die Dokumentation deines Produkts aufnimmst, ist eine Genehmigung erforderlich.

Wir freuen uns über eine Namensnennung, verlangen sie aber in der Regel nicht. Eine Quellenangabe umfasst normalerweise den Titel, den Autor, den Verlag und die ISBN. Ein Beispiel: "Scaling Python with Ray" von Holden Karau und Boris Lublinsky (O'Reilly). Copyright 2023 Holden Karau und Boris Lublinsky, 978-1-098-11880-8."

Wenn du der Meinung bist, dass die Verwendung von Code-Beispielen nicht unter die Fair-Use-Regelung oder die oben genannte Erlaubnis fällt, kannst du uns gerne unter [e-mail] kontaktieren .

O'Reilly Online Learning

Hinweis

Seit mehr als 40 Jahren bietet O'Reilly Media Schulungen, Wissen und Einblicke in Technologie und Wirtschaft, um Unternehmen zum Erfolg zu verhelfen.

Unser einzigartiges Netzwerk von Experten und Innovatoren teilt sein Wissen und seine Erfahrung durch Bücher, Artikel und unsere Online-Lernplattform. Die Online-Lernplattform von O'Reilly bietet dir On-Demand-Zugang zu Live-Trainingskursen, ausführlichen Lernpfaden, interaktiven Programmierumgebungen und einer umfangreichen Text- und Videosammlung von O'Reilly und über 200 anderen Verlagen. Weitere Informationen erhältst du unter https://oreilly.com.

Wie du uns kontaktierst

Bitte richte Kommentare und Fragen zu diesem Buch an den Verlag:

• O'Reilly Media, Inc.
• 1005 Gravenstein Highway Nord
• Sebastopol, CA 95472
• 800-998-9938 (in den Vereinigten Staaten oder Kanada)
• 707-829-0515 (international oder lokal)
• 707-829-0104 (Fax)

Wir haben eine Webseite für dieses Buch, auf der wir Errata, Beispiele und zusätzliche Informationen auflisten. Du kannst diese Seite unter https://oreil.ly/scaling-python-ray aufrufen .

Schreib eine E-Mail an [e-mail], um Kommentare oder technische Fragen zu diesem Buch zu stellen.

Neuigkeiten und Informationen über unsere Bücher und Kurse findest du unter https://oreilly.com.

Du findest uns auf LinkedIn: https://linkedin.com/company/oreilly-media.

Folge uns auf Twitter: https://twitter.com/oreillymedia.

Sieh uns auf YouTube: https://youtube.com/oreillymedia.

Danksagungen

Wir möchten uns für den Beitrag von Carlos Andrade Costa bedanken, der Kapitel 8 mit uns geschrieben hat. Dieses Buch gäbe es nicht ohne die Gemeinschaften, auf denen es aufgebaut ist. Vielen Dank an die Ray/Berkeley-Community und die PyData-Community. Wir bedanken uns bei allen frühen Lesern und Rezensenten für ihre Beiträge und Ratschläge. Zu diesen Gutachtern gehören Dean Wampler, Jonathan Dinu, Adam Breindel, Bill Chambers, Trevor Grant, Ruben Berenguel, Michael Behrendt und viele andere. Ein besonderer Dank geht an Ann Spencer, die die ersten Entwürfe des Buches " Scaling Python with Dask " (O'Reilly), das Holden gemeinsam mit Mika Kimmins verfasst hat, geprüft hat. Ein großes Dankeschön an die Redaktions- und Produktionsteams von O'Reilly, insbesondere an Virginia Wilson und Gregory Hyman, die uns geholfen haben, unsere Texte in Form zu bringen und unermüdlich mit uns zusammengearbeitet haben, um Fehler, Tippfehler usw. zu minimieren. Alle verbleibenden Fehler sind die Schuld der Autorinnen und Autoren, manchmal auch gegen den Rat unserer Rezensenten und Redakteure.

Von Holden

Ich möchte mich auch bei meiner Frau und meinen Partnern dafür bedanken, dass sie meine langen Schreibsessions in der Badewanne ertragen haben. Ein besonderes Dankeschön an Timbit, der das Haus bewacht und mir generell einen Grund gibt, das Bett zu verlassen (wenn auch für meinen Geschmack oft etwas zu früh).

Von Boris

Ich möchte mich auch bei meiner Frau Marina bedanken, die es erträgt, dass ich stundenlang schreibe und sie manchmal vernachlässige, und bei meinen Kollegen bei IBM für viele fruchtbare Diskussionen, die mir geholfen haben, die Kraft von Ray besser zu verstehen.