book

Python de alto rendimiento, 2ª edición

by Micha Gorelick, Ian Ozsvald

September 2024

Intermediate to advanced

468 pages

14h 4m

Spanish

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

A quién va dirigido este libroPara quién no es este libroLo que aprenderásPython 3Cambios desde Python 2.7LicenciaCómo hacer una atribuciónErratas y comentariosConvenciones utilizadas en este libroUtilizar ejemplos de códigoAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientos
El Sistema Informático FundamentalUnidades de cálculoUnidades de memoriaCapas de comunicaciónReunir los elementos fundamentalesLa informática idealizada frente a la máquina virtual Python¿Por qué utilizar Python?Cómo ser un programador de alto rendimientoBuenas prácticas laboralesAlgunas reflexiones sobre las buenas prácticas con los cuadernosDevuelve la alegría a tu trabajo
Perfilar eficazmentePresentación del Conjunto de JuliaCálculo del Conjunto de Julia completoEnfoques sencillos para cronometrar y un decoradorCronometraje sencillo mediante el comando tiempo de UnixUtilizar el módulo cProfileVisualizar la salida del perfil c con SnakeVizUso de line_profiler para mediciones línea a líneaUso de memory_profiler para diagnosticar el uso de memoriaIntrospección de un proceso existente con PySpyBytecode: Bajo el capóUtilizar el módulo dis para examinar el Bytecode de CPythonDiferentes enfoques, diferente complejidadPruebas unitarias durante la optimización para mantener la correcciónNo-op @perfil DecoradorEstrategias para perfilar tu código con éxitoRecapitulación
Una búsqueda más eficazListas frente a tuplasListas como matrices dinámicasTuplas como matrices estáticasRecapitulación
¿Cómo funcionan los diccionarios y los conjuntos?Insertar y recuperarSupresiónRedimensionarFunciones Hash y EntropíaDiccionarios y espacios de nombresRecapitulación
Iteradores para series infinitasEvaluación del generador perezosoRecapitulación
Introducción al problema¿No son suficientemente buenas las listas Python?Problemas de asignar demasiadoFragmentación de la memoriaComprender el perfTomar decisiones con los resultados de perfIntroduce numpyAplicación de numpy al problema de la difusiónAsignaciones de memoria y operaciones in situOptimizaciones Selectivas: Encontrar lo que hay que arreglarnumexpr: Hacer más rápidas y sencillas las operaciones in situUn cuento con moraleja: Verifica las "Optimizaciones" (scipy)Lecciones de las optimizaciones matricialesPandasModelo interno de PandasAplicar una función a muchas filas de datosConstruir marcos de datos y series a partir de resultados parciales en lugar de concatenarlosHay más de una forma (y posiblemente más rápida) de hacer un trabajoConsejos para un desarrollo eficaz de PandasRecapitulación
¿Qué tipo de ganancias de velocidad son posibles?Compiladores JIT frente a AOT¿Por qué la información tipográfica ayuda a que el código funcione más rápido?Utilizar un compilador de CRepasar el ejemplo del Conjunto de JuliaCythonCompilar una versión en Python puro con CythonpyximportAnotaciones de Cython para analizar un bloque de códigoAñadir algunas anotaciones de tipoCython y numpyParalelizar la solución con OpenMP en una máquinaNumbaNumba para compilar NumPy para PandasPyPyDiferencias en la Recogida de BasuraEjecutar PyPy e instalar módulosResumen de las mejoras de velocidadCuándo utilizar cada tecnologíaOtros próximos proyectosUnidades de procesamiento gráfico (GPU)Grafos dinámicos: PyTorchPerfilado básico de la GPUConsideraciones sobre el rendimiento de las GPUCuándo utilizar GPUsInterfaces de funciones externasctiposcffif2pyMódulo CPythonRecapitulación
Introducción a la programación asíncrona¿Cómo funciona async/await?Oruga en serieEventotornadoaiohttpCarga de trabajo CPU-I/O compartidaSerieResultados por lotesAsíncrono completoRecapitulación

Una visión general del módulo multiprocesamientoEstimación de Pi mediante el método de MontecarloEstimación de Pi mediante procesos e hilosUtilizar objetos de PythonSustituir el multiprocesamiento por JoblibNúmeros aleatorios en sistemas paralelosUtilizar numpyEncontrar números primosColas de trabajoVerificación de primos mediante comunicación entre procesosSolución en serieSolución de piscina ingenuaUna solución para piscinas menos ingenuaUtilizar Gestor.Valor como IndicadorUtilizar Redis como indicadorUtilizar RawValue como indicadorUtilizar mmap como indicadorUtilizar mmap como Bandera ReduxCompartir datos numpy con multiprocesamientoSincronizar el acceso a archivos y variablesBloqueo de archivosBloquear un valorRecapitulación
Ventajas de la agrupaciónInconvenientes de la agrupaciónPérdida de 462 millones de dólares en Wall Street por una mala estrategia de actualización del clústerInterrupción mundial de 24 horas de SkypeDiseños comunes de agrupacionesCómo iniciar una solución en clústerFormas de Evitar el Dolor al Utilizar RacimosDos soluciones de agrupaciónUtilizar IPython Parallel para apoyar la investigaciónPandas en paralelo con DaskNSQ para una agrupación robusta de la producciónColasPub/subCálculo de Prima DistribuidaOtras herramientas de agrupación a tener en cuentaDockerRendimiento de DockerVentajas de DockerRecapitulación
Los objetos para primitivas son carosEl módulo array almacena muchos objetos primitivos de forma barataUsar menos RAM en NumPy con NumExprComprender la RAM utilizada en una colecciónBytes frente a UnicodeAlmacenamiento eficiente de mucho texto en RAMProbar estos enfoques con 11 millones de fichasModelar más texto con FeatureHasher de Scikit-LearnPresentación de DictVectorizer y FeatureHasherComparación de DictVectorizer y FeatureHasher en un problema realMatrices dispersas de SciPyConsejos para usar menos RAMEstructuras de datos probabilísticasRecuento muy aproximado con un contador Morris de 1 byteValores K-MínimosFiltros BloomContador LogLogEjemplo real
Racionalizar los procesos de ingeniería de características con Feature-engineIngeniería de rasgos para el aprendizaje automáticoLa Difícil Tarea de Implementar Canalizaciones de Ingeniería de FuncionesAprovechar la potencia de las bibliotecas Python de código abiertoFeature-engine facilita la creación e implementación de cadenas de ingeniería de funcionesAyudar a la adopción de un nuevo paquete de código abiertoDesarrollar, mantener y fomentar la contribución a las bibliotecas de código abiertoEquipos de Ciencia de Datos de Alto Rendimiento¿Cuánto tardarás?Descubrimiento y planificaciónGestionar las expectativas y la entregaNumbaUn ejemplo sencilloBuenas prácticas y recomendacionesConseguir ayudaOptimizar frente a pensarAnálisis de Redes Sociales de Adaptive Lab (2014)Python en Adaptive LabDiseño de SoMANuestra metodología de desarrolloMantener SoMAConsejos para los compañeros ingenierosHacer volar el aprendizaje profundo con RadimRehurek.com (2014)El punto dulceLecciones de optimizaciónConclusiónAprendizaje automático productivo a gran escala en Lyst.com (2014)Diseño de gruposEvolución del código en una empresa emergente de rápido crecimientoConstruir el motor de recomendaciónInformes y monitoreoAlgunos consejosAnálisis de medios sociales a gran escala en Smesh (2014)El papel de Python en la SmeshLa PlataformaComparación de cadenas en tiempo real de alto rendimientoInformes, monitoreo, depuración e implementaciónPyPy para sistemas web y de procesamiento de datos de éxito (2014)Requisitos previosLa base de datosLa Aplicación WebOCR y TraducciónDistribución de tareas y trabajadoresConclusiónColas de tareas en Lanyrd.com (2014)El papel de Python en LanyrdHacer que la cola de tareas funcioneInformes, monitoreo, depuración e implementaciónConsejos a un colega desarrollador

Content preview from Python de alto rendimiento, 2ª edición

Capítulo 9. El Módulo de multiprocesamiento

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

CPython no utiliza múltiples CPUs por defecto. Esto se debe en parte a que Python se diseñó en una era de un solo núcleo, y en parte a que paralelizar puede ser bastante difícil de hacer de forma eficiente. Python nos da las herramientas para hacerlo, pero nos deja tomar nuestras propias decisiones. Sin embargo, es doloroso ver cómo tu máquina multinúcleo utiliza sólo una CPU en un proceso de larga duración, así que en este capítulo revisaremos formas de utilizar todos los núcleos de la máquina a la vez.

Nota

Acabamos de mencionar CPython, laimplementación común que todos utilizamos. Nada en el lenguaje Python le impide utilizar sistemas multinúcleo. La implementación de CPython no puede utilizar eficientemente varios núcleos, pero es posible que las implementaciones ...