book

IA generativa prática com transformadores e modelos de difusão

by Omar Sanseviero, Pedro Cuenca, Apolinário Passos, Jonathan Whitaker

March 2025

Intermediate to advanced

418 pages

11h 47m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Read now

Unlock full access

Quem deve ler este livroPré-requisitosO que vais aprenderComo ler este livroRequisitos de software e hardwareConvenções utilizadas neste livroUtilizar exemplos de códigoComo contactar-nosO estado da arte: Um alvo em movimentoAgradecimentosJonathanApolinárioPedroOmar
Geração de imagensGeração de textoGerar clips de somImplicações éticas e sociaisOnde estivemos e em que pé estamosComo são criados os modelos de IA generativa?Resumo
Um modelo linguístico em açãoTokenização de textoPrevisão de probabilidadesGeração de textoGeneralização Zero-ShotGeneralização de poucos disparosUm bloco de transformadorGenealogia do modelo do transformadorTarefas de seqüência para seqüênciaModelos só com codificadorO poder da pré-treinoRecapitulação de TransformersLimitaçõesPara além do textoHora do Projeto: Utilizar as LMs para Gerar TextoResumoExercíciosDesafiosReferências
AutoEncodificadoresPreparar os dadosModelação do codificadorDescodificadorFormaçãoExplorar o espaço latenteVisualiza o espaço latenteAutoEncodificadores VariacionaisCodificadores e descodificadores VAEAmostragem da distribuição do codificadorFormação da VAEVAEs para modelação generativaCLIPPerda por contrasteUtilizar o CLIP, passo a passoClassificação de imagens Zero-Shot com CLIPPipeline de classificação de imagens de disparo zeroCasos de utilização do CLIPAlternativas ao CLIPTempo de Projeto: Pesquisa Semântica de ImagensResumoExercíciosDesafiosReferências
A ideia-chave: Refinamento iterativoTreinar um modelo de difusãoOs dadosAdicionar ruídoA UNetFormaçãoAmostragemAvaliaçãoAprofunda-te: Horários de ruídoPorquê adicionar ruído?Começa de forma simplesA matemáticaEfeito da resolução e escala de entradaAprofunda-te: UNets e alternativasUma UNet simplesMelhorar a UNetArquitecturas alternativasEm profundidade: Objectivos de difusãoTempo de Projeto: Treina o teu Modelo de DifusãoResumoExercíciosDesafiosReferências
Adicionar controlo: Modelos de difusão condicionalPreparar os dadosCriação de um modelo condicionado por classeTreinar o modeloAmostragemMelhorar a eficiência: Difusão latenteDifusão estável: Componentes em profundidadeO codificador de textoO AutoEncodificador VariacionalA UNetDifusão estável XLFLUX, SD3 e VídeoOrientação sem classificadoresJunta tudo: Anotação do loop de amostragemDados abertos, modelos abertosDesafios e o ocaso do LAION-5BAlternativasUtilização justa e comercialTempo de Projeto: Constrói uma Demonstração ML Interactiva com o GradioResumoExercíciosDesafioReferências
Classificar o textoIdentifica um conjunto de dadosDefine o tipo de modelo a utilizarSeleciona um bom modelo de basePré-processa o conjunto de dadosDefine as métricas de avaliaçãoTreina o modeloAinda és relevante?Geração de textoEscolher o modelo generativo corretoTreinar um modelo generativoInstruçõesUma rápida introdução aos adaptadoresUma introdução ligeira à quantizaçãoJuntar tudoUm mergulho mais profundo na avaliaçãoTempo de Projeto: Geração Aumentada por RecuperaçãoResumoExercíciosDesafioReferências
Afinação da difusão totalmente estávelPreparar o conjunto de dadosAfinar o modeloInferênciaDreamBoothPreparar o conjunto de dadosPreservação préviaDreamBoothing o modeloInferênciaFormação de LORAsDotar a difusão estável de novas capacidadesPintarEntradas adicionais para condicionamentos especiaisTempo de Projeto: Treina um SDXL DreamBooth LoRA por ti próprioResumoExercíciosDesafioReferências

Imagem para imagemPintarPonderação do prompt e edição de imagensPonderação e fusão de promptsEdição de imagens de difusão com orientação semânticaEdição de imagens reais através de inversãoEditar com LEDITS++Edição de imagens reais através do ajuste fino das instruçõesControlNetPrompting de imagem e variações de imagemVariações de imagemPrompting de imagensTempo de Projeto: A tua tela criativaResumoExercíciosReferências
Dados áudioFormas de ondaEspectrogramasConversão de voz em texto com arquitecturas baseadas em transformadoresTécnicas baseadas em codificadoresTécnicas de codificador-decodificadorDo modelo à tubagemAvaliaçãoDo texto ao discurso e ao áudio generativoGeração de áudio com modelos sequência a sequênciaGo beyond Speech with BarkAudioLM e MusicLMAudioGen e MusicGenDifusão e difusão de áudioDifusão da dançaMais informações sobre modelos de difusão para áudio generativoAvaliação dos sistemas de geração de áudioO que vais fazer a seguir?Duração do projeto: Sistema de conversação de ponta a pontaResumoExercíciosDesafiosReferências
Otimização de preferênciasContextos longosMistura de peritosOptimizações e quantizaçõesDadosUm modelo para governar todos elesVisão computacionalVisão computacional 3DGeração de vídeoMultimodalidadeComunidade
A pilha de rostos abraçadosDadosInvólucrosInferência localFerramentas de implementação
Requisitos de memória de inferênciaRequisitos da memória de treinoLer mais
Processamento dos dadosIncorporar os documentosRecuperaçãoGeraçãoRAG de nível de produção

Overview

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Aprende a utilizar técnicas de IA generativa para criar novos textos, imagens, áudio e até música com este livro prático e prático. Os leitores compreenderão como funcionam os modelos generativos mais avançados, como os afinar e adaptar às suas necessidades e como combinar blocos de construção existentes para criar novos modelos e aplicações criativas em diferentes domínios.

Este livro de referência apresenta conceitos teóricos seguidos de aplicações práticas orientadas, com exemplos de código extensos e ilustrações fáceis de compreender. Aprenderás a utilizar bibliotecas de código aberto para utilizar transformadores e modelos de difusão, a explorar códigos e a estudar vários projectos existentes para ajudar a orientar o teu trabalho.

Constrói e personaliza modelos que podem gerar texto e imagens
Explora as soluções de compromisso entre a utilização de um modelo pré-treinado e o ajuste fino do teu próprio modelo
Cria e utiliza modelos que podem gerar, editar e modificar imagens em qualquer estilo
Personaliza transformadores e modelos de difusão para vários fins criativos
Treina modelos que podem refletir o teu próprio estilo único