book

Python ad alte prestazioni, 2a edizione

by Micha Gorelick, Ian Ozsvald

April 2025

Intermediate to advanced

468 pages

14h 8m

Italian

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Per chi è questo libroPer chi non è questo libroCosa impareraiPython 3Cambiamenti rispetto a Python 2.7LicenzaCome fare un'attribuzioneErrata corrige e feedbackConvenzioni utilizzate in questo libroUtilizzo di esempi di codiceFormazione online O'ReillyCome contattarciRingraziamenti
Il sistema informatico fondamentaleUnità di calcoloUnità di memoriaLivelli di comunicazioneMettere insieme gli elementi fondamentaliL'informatica idealizzata contro la macchina virtuale di PythonPerché usare Python?Come diventare un programmatore altamente performanteBuone pratiche di lavoroAlcune riflessioni sulla buona pratica dei quaderniRiportare la gioia nel tuo lavoro
Profilazione efficienteIntroduzione all'insieme di JuliaCalcolo dell'insieme completo di JuliaSemplici approcci alla stampa a tempo e un decoratoreSemplice cronometraggio con il comando Unix timeUtilizzo del modulo cProfileVisualizzare l'output di cProfile con SnakeVizUtilizzo di line_profiler per misurazioni linea per lineaUsare memory_profiler per diagnosticare l'uso della memoriaIntrospezione di un processo esistente con PySpyBytecode: Sotto il cappuccioUsare il modulo dis per esaminare il bytecode di CPythonApprocci diversi, complessità diverseTest unitari durante l'ottimizzazione per mantenere la correttezzaDecoratore senza profilo @profiloStrategie per profilare il tuo codice con successoConclusione
Una ricerca più efficienteElenchi contro tupleElenchi come array dinamiciTuple come array staticiConclusione
Come funzionano i dizionari e gli insiemi?Inserimento e recuperoCancellazioneRidimensionamentoFunzioni Hash e EntropiaDizionari e spazi dei nomiConclusione
Iteratori per serie infiniteValutazione del generatore pigroConclusione
Introduzione al problemaGli elenchi di Python non sono abbastanza?Problemi con l'allocazione di una quantità eccessivaFrammentazione della memoriaComprendere la perfezionePrendere decisioni con i risultati di perfInserisci numpyApplicare numpy al problema della diffusioneAllocazioni di memoria e operazioni sul postoOttimizzazioni selettive: Trovare ciò che deve essere correttonumexpr: Rendere le operazioni sul posto più veloci e sempliciUna storia di cautela: Verifica le "ottimizzazioni" (scipy)Lezioni dalle ottimizzazioni delle matriciI pandaModello interno di PandasApplicazione di una funzione a molte righe di datiCostruire DataFrames e Serie da risultati parziali piuttosto che concatenareC'è più di un modo (e forse anche più veloce) per svolgere un lavoroConsigli per uno sviluppo efficace di PandasConclusione
Che tipo di guadagno di velocità è possibile?Compilatori JIT contro AOTPerché le informazioni sul tipo aiutano il codice ad essere più veloce?Utilizzare un compilatore CRipasso dell'esempio dell'insieme di JuliaCythonCompilazione di una versione pura di Python con CythonpyximportAnnotazioni Cython per analizzare un blocco di codiceAggiungere alcune annotazioni sui tipiCython e numpyParallelizzare la soluzione con OpenMP su una sola macchinaNumbaNumba per compilare NumPy per PandasPyPyDifferenze nella Garbage CollectionEseguire PyPy e installare i moduliUn riepilogo dei miglioramenti della velocitàQuando utilizzare ciascuna tecnologiaAltri progetti imminentiUnità di elaborazione grafica (GPU)Grafici dinamici: PyTorchProfilazione di base della GPUConsiderazioni sulle prestazioni delle GPUQuando usare le GPUInterfacce di funzioni stranierectypescffif2pyModulo CPythonConclusione
Introduzione alla programmazione asincronaCome funziona async/await?Crawler serialeGeventtornadoaiohttpCarico di lavoro condiviso CPU-I/OSerialeRisultati in batchAsincrono completoConclusione

Una panoramica del modulo di multiprocessingStima del Pi greco con il metodo Monte CarloStimare il Pi greco usando processi e threadUsare gli oggetti di PythonSostituire il multiprocessing con JoblibNumeri casuali nei sistemi paralleliUtilizzo di numpyTrovare i numeri primiCode di lavoroVerificare i primati usando la comunicazione interprocessoSoluzione serialeSoluzione piscina ingenuaUna soluzione per piscine meno ingenuaUtilizzo di Manager.Value come flagUtilizzare Redis come bandieraUtilizzo di RawValue come flagUtilizzo di mmap come flagUsare mmap come flag ReduxCondividere i dati numpy con il multiprocessingSincronizzare l'accesso a file e variabiliBlocco dei fileBloccare un valoreConclusione
Vantaggi del clusteringSvantaggi del clusteringPerdita di 462 milioni di dollari a Wall Street a causa della scarsa strategia di aggiornamento dei clusterInterruzione globale di Skype per 24 oreModelli di cluster comuniCome avviare una soluzione in clusterModi per evitare il dolore quando si usano i clusterDue soluzioni di clusteringUtilizzare IPython Parallel per supportare la ricercaPandas in parallelo con DaskNSQ per una clusterizzazione robusta della produzioneCodePub/subCalcolo Prime distribuitoAltri strumenti di clustering da tenere in considerazioneDockerLe prestazioni di DockerVantaggi di DockerConclusione
Gli oggetti per le primitive sono costosiIl modulo array memorizza molti oggetti primitivi in modo economicoUsare meno RAM in NumPy con NumExprCapire la RAM utilizzata in una collezioneBytes contro UnicodeMemorizzare in modo efficiente molto testo nella RAMProva questi approcci su 11 milioni di gettoniModellare più testo con FeatureHasher di Scikit-LearnIntroduzione di DictVectorizer e FeatureHasherConfronto tra DictVectorizer e FeatureHasher su un problema realeLe matrici sparse di SciPySuggerimenti per usare meno RAMStrutture dati probabilisticheConteggio molto approssimativo con un contatore Morris a 1 byteValori minimi KFiltri BloomContatore LogLogEsempio del mondo reale
Semplificare le pipeline di feature engineering con Feature-engineIngegneria delle caratteristiche per l'apprendimento automaticoIl difficile compito di distribuire le pipeline di Feature EngineeringSfruttare la potenza delle librerie open source di PythonFeature-engine semplifica la costruzione e l'implementazione delle pipeline di feature engineeringContribuire all'adozione di un nuovo pacchetto open sourceSviluppare, mantenere e incoraggiare il contributo alle biblioteche open sourceTeam di Data Science altamente performantiQuanto tempo ci vorrà?Scoperta e pianificazioneGestione delle aspettative e delle consegneNumbaUn semplice esempioMigliori pratiche e raccomandazioniOttenere aiutoOttimizzare e pensareSocial Media Analytics di Adaptive Lab (2014)Python in Adaptive LabIl design di SoMALa nostra metodologia di sviluppoMantenimento di SoMAConsigli per i colleghi ingegneriFar volare il Deep Learning con RadimRehurek.com (2014)Il punto di forzaLezioni di ottimizzazioneConclusioneApprendimento automatico produttivo su larga scala su Lyst.com (2014)Design del clusterEvoluzione del codice in una start-up in rapida evoluzioneCostruire il motore di raccomandazioneReporting e monitoraggioAlcuni consigliAnalisi dei social media su larga scala presso Smesh (2014)Il ruolo di Python in SmeshLa piattaformaMatching di stringhe in tempo reale ad alte prestazioniReporting, monitoraggio, debug e distribuzionePyPy per sistemi web ed elaborazione dati di successo (2014)PrerequisitiIl databaseL'applicazione webOCR e traduzioneDistribuzione dei compiti e lavoratoriConclusioneCode di attività su Lanyrd.com (2014)Il ruolo di Python in LanyrdRendere la coda dei task performanteReporting, monitoraggio, debug e distribuzioneConsigli a un collega sviluppatore

Content preview from Python ad alte prestazioni, 2a edizione

Capitolo 9. Il modulo multiprocesso

Questo lavoro è stato tradotto utilizzando l'AI. Siamo lieti di ricevere il tuo feedback e i tuoi commenti: translation-feedback@oreilly.com

CPython non utilizza più CPU per impostazione predefinita. Questo è dovuto in parte al fatto che Python è stato progettato in un'epoca di single-core e in parte al fatto che la parallelizzazione può essere piuttosto difficile da realizzare in modo efficiente. Python ci fornisce gli strumenti per farlo, ma ci lascia liberi di fare le nostre scelte. Tuttavia, è doloroso vedere la tua macchina multicore che utilizza una sola CPU per un processo di lunga durata, quindi in questo capitolo esamineremo i modi per utilizzare tutti i core della macchina contemporaneamente.

Nota

Abbiamo appena parlato di CPython, l'implementazione comune che tutti utilizziamo. Nulla nel linguaggio Python impedisce di utilizzare sistemi multicore. L'implementazione ...