Optimización de la inferencia para VLMEntender la caché KVOptimizaciones de la atención: FlashAttention y más alláEntender la memoria de la GPU: la base de toda optimización de la inferenciaEl cuello de botella de la atención y FlashAttention al rescateUso de la atención optimizadaCuantificación para VLMPor qué ayuda la cuantificación: ancho de banda, no computaciónCuantificación solo de pesosEl problema de los valores atípicosMétodos de cuantificaciónLa asimetría de cuantificación de VLMNotas prácticastorchaoExportación de modelos a diferentes entornos de ejecuciónONNXTensorRT: máximo rendimiento de la GPUImplementación en el navegador con transformers.jsEmpaquetado e implementación en entornos realesFuncionaImplementación eficiente con vLLMOptimizaciones de producciónImplementación en dispositivos/periferiaEl panorama del perímetroMLX en Apple SiliconLlama.cppImplementación móvilAdaptadores PEFT para el perímetro de personalizaciónPatrones híbridosResumen