book

High Performance Python, 2. Auflage

by Micha Gorelick, Ian Ozsvald

September 2024

Intermediate to advanced

468 pages

14h 22m

German

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Für wen dieses Buch istFür wen dieses Buch nicht geeignet istWas du lernen wirstPython 3Änderungen von Python 2.7LizenzWie man eine Zuschreibung vornimmtErrata und FeedbackIn diesem Buch verwendete KonventionenCode-Beispiele verwendenO'Reilly Online LearningWie du uns kontaktierstDanksagungen
Das fundamentale ComputersystemRecheneinheitenSpeichereinheitenKommunikationsschichtenDie grundlegenden Elemente zusammenfügenIdealisiertes Computing versus die Python Virtual MachineWarum also Python verwenden?Wie man ein hochleistungsfähiger Programmierer wirdGute ArbeitspraktikenEinige Gedanken zur guten NotizbuchpraxisWie du die Freude an deiner Arbeit zurückbekommst
Effizientes ProfilingEinführung in die Julia-MengeBerechnung der vollständigen Julia-MengeEinfache Annäherungen an den Zeitdruck und einen DekorateurEinfache Zeitmessung mit dem Unix-Befehl timeVerwendung des cProfile-ModulsVisualisierung der cProfile-Ausgabe mit SnakeVizLine_profiler für zeilenweise Messungen verwendenMemory_profiler zur Diagnose der Speichernutzung verwendenEinen existierenden Prozess mit PySpy untersuchenBytecode: Unter der HaubeMit dem dis-Modul CPython Bytecode untersuchenUnterschiedliche Herangehensweisen, unterschiedliche KomplexitätUnit Testing während der Optimierung zur Aufrechterhaltung der KorrektheitNo-op @profile DekorateurStrategien für ein erfolgreiches Profil deines CodesNachbereitung
Eine effizientere SucheListen vs. TupelListen als dynamische ArraysTupel als statische ArraysNachbereitung
Wie funktionieren Wörterbücher und Sets?Einfügen und AbrufenLöschungGrößenänderungHash-Funktionen und EntropieWörterbücher und NamensräumeNachbereitung
Iteratoren für unendliche ReihenLazy Generator AuswertungNachbereitung
Einführung in das ProblemSind Python-Listen nicht gut genug?Probleme bei der Zuteilung von zu vielSpeicherfragmentierungVerstehen der LeistungEntscheidungen mit Perf's Output treffenNumpy eingebenAnwendung von numpy auf das DiffusionsproblemSpeicherzuweisungen und In-Place-OperationenSelektive Optimierungen: Finden, was behoben werden mussnumexpr: Schnellere und einfachere In-Place-OperationenEin abschreckendes Beispiel: Überprüfe "Optimierungen" (scipy)Lektionen aus Matrix-OptimierungenPandasDas interne Modell von PandasAnwenden einer Funktion auf viele DatenzeilenDatenrahmen und Reihen aus Teilergebnissen aufbauen statt zu verkettenEs gibt mehr als einen (und möglicherweise einen schnelleren) Weg, einen Auftrag zu erledigenRatschläge für die effektive Entwicklung von PandasNachbereitung
Welche Art von Geschwindigkeitszuwachs ist möglich?JIT vs. AOT CompilerWarum hilft die Typinformation dabei, den Code schneller auszuführen?Einen C-Compiler verwendenDas Beispiel der Julia-Menge überprüfenCythonKompilieren einer reinen Python-Version mit CythonpyximportCython Annotations zur Analyse eines Code-BlocksHinzufügen einiger Typ-AnmerkungenCython und numpyParallelisierung der Lösung mit OpenMP auf einer MaschineNumbaNumba zum Kompilieren von NumPy für PandasPyPyUnterschiede bei der SpeicherbereinigungPyPy ausführen und Module installierenEine Zusammenfassung der GeschwindigkeitsverbesserungenWann wird welche Technologie eingesetzt?Andere bevorstehende ProjekteGrafikprozessoren (GPUs)Dynamische Graphen: PyTorchGrundlegendes GPU-ProfilingLeistungsaspekte von GPUsWann werden GPUs eingesetzt?Fremde Funktionsschnittstellenctypescffif2pyCPython ModulNachbereitung
Einführung in die asynchrone ProgrammierungWie funktioniert async/await?Serien-CrawlerGeventTornadoaiohttpGemeinsame CPU-I/O-ArbeitslastSerienmäßigZusammengefasste ErgebnisseVoll AsynchronNachbereitung

Ein Überblick über das Multiprocessing-ModulPi mit der Monte-Carlo-Methode abschätzenPi mit Prozessen und Threads abschätzenPython-Objekte verwendenErsetzen von Multiprocessing durch JoblibZufallszahlen in parallelen SystemenNumpy verwendenPrimzahlen findenWarteschlangen der ArbeitVerifizierung von Primes durch InterprozesskommunikationSerielle LösungNaive Pool-LösungEine weniger naive Pool-LösungManager.Wert als Flagge verwendenRedis als Flagge verwendenRawValue als Flag verwendenmmap als Flag verwendenmmap als Flagge verwenden ReduxGemeinsame Nutzung von Numpy-Daten mit MultiprocessingZugriff auf Dateien und Variablen synchronisierenDatei sperrenSperren eines WertesNachbereitung
Vorteile des ClusteringNachteile des Clustering462 Millionen Dollar Verlust an der Wall Street durch mangelhafte Cluster-Upgrade-Strategie24-Stunden-Ausfall von Skype weltweitGemeinsame Cluster-DesignsWie man eine Clusterlösung startetWege zur Vermeidung von Schmerzen bei der Verwendung von ClusternZwei Clustering-LösungenIPython Parallel zur Unterstützung der Forschung nutzenParallele Pandas mit DaskNSQ für robustes Clustering in der ProduktionWarteschlangenKneipe/VerleihVerteilte PrimzahlberechnungAndere Clustering-Tools, die du dir ansehen solltestDockerDocker's LeistungVorteile von DockerNachbereitung
Objekte für Primitive sind kostspieligDas Array-Modul speichert viele primitive Objekte kostengünstigWeniger RAM in NumPy mit NumExpr nutzenVerstehen des in einer Sammlung verwendeten RAMsBytes vs. UnicodeEffizientes Speichern von viel Text im RAMDiese Ansätze an 11 Millionen Token ausprobierenMehr Text mit dem FeatureHasher von Scikit-Learn modellierenEinführung in DictVectorizer und FeatureHasherVergleich von DictVectorizer und FeatureHasher bei einem echten ProblemSciPy's Sparse MatricesTipps für die Verwendung von weniger RAMProbabilistische DatenstrukturenSehr genaues Zählen mit einem 1-Byte-Morris-ZählerK-MinimalwerteBloom-FilterLogLog ZählerBeispiel aus der realen Welt
Rationalisierung von Feature Engineering Pipelines mit Feature-engineFeature Engineering für maschinelles LernenDie schwierige Aufgabe, Feature Engineering Pipelines zu implementierenDie Macht der Open-Source-Python-Bibliotheken ausnutzenFeature-Engine vereinfacht den Aufbau und Einsatz von Feature-Engineering-PipelinesHilfe bei der Einführung eines neuen Open-Source-PaketsEntwicklung, Pflege und Förderung von Beiträgen zu Open-Source-BibliothekenLeistungsstarke Data Science TeamsWie lange wird es dauern?Entdeckung und PlanungErwartungen und Lieferung steuernNumbaEin einfaches BeispielBewährte Methoden und EmpfehlungenHilfe bekommenOptimieren versus DenkenAdaptive Labs Social Media Analytics (2014)Python bei Adaptive LabSoMA's DesignUnsere EntwicklungsmethodikPflege von SoMARatschläge für andere Ingenieurinnen und IngenieureDeep Learning zum Fliegen bringen mit RadimRehurek.com (2014)Der Sweet SpotLektionen im OptimierenFazitMaschinelles Lernen in großem Maßstab bei Lyst.com (2014)Cluster DesignCode-Entwicklung in einem schnelllebigen Start-upAufbau der EmpfehlungsmaschineBerichterstattung und ÜberwachungEinige RatschlägeGroß angelegte Social Media Analyse bei Smesh (2014)Die Rolle von Python bei SmeshDie PlattformLeistungsstarkes String Matching in EchtzeitBerichterstattung, Überwachung, Fehlersuche und EinsatzPyPy für erfolgreiche Web- und Datenverarbeitungssysteme (2014)VoraussetzungenDie DatenbankDie WebanwendungOCR und ÜbersetzungAufgabenverteilung und ArbeitskräfteFazitAufgaben-Warteschlangen bei Lanyrd.com (2014)Die Rolle von Python bei LanyrdDie Task-Warteschlange leistungsfähig machenBerichterstattung, Überwachung, Fehlersuche und EinsatzRatschlag an einen anderen Entwickler

Content preview from High Performance Python, 2. Auflage

Kapitel 9. Das Multiprozessor-Modul

Diese Arbeit wurde mithilfe von KI übersetzt. Wir freuen uns über dein Feedback und deine Kommentare: translation-feedback@oreilly.com

CPython nutzt standardmäßig nicht mehrere CPUs. Das liegt zum einen daran, dass Python noch in der Single-Core-Ära entwickelt wurde, und zum anderen daran, dass die Parallelisierung ziemlich schwierig sein kann, wenn sie effizient sein soll. Python gibt uns die Werkzeuge dafür an die Hand, überlässt es uns aber, unsere eigenen Entscheidungen zu treffen. Es ist jedoch schmerzhaft zu sehen, wie ein Multicore-Rechner nur eine CPU für einen langlaufenden Prozess verwendet, daher werden wir in diesem Kapitel Möglichkeiten zur gleichzeitigen Nutzung aller Kerne des Rechners untersuchen.

Hinweis

Wir haben gerade CPythonerwähnt - diegängige Implementierung, die wir alle verwenden. Nichts in der Python-Sprache hindert sie daran, Multicore-Systeme ...