Deep learning i modelowanie generatywne

Table of contents

1. Przedmowa
   1. Cel i podejście
   2. Wymagania wstępne
   3. Inne zasoby
   4. Konwencje stosowanew tej książce
   5. Korzystanie z przykładów kodu
   6. Podziękowania
2. Część I. Wprowadzenie do generatywnego uczenia głębokiego
3. Rozdział 1. Modelowanie generatywne
   1. Czym jest modelowanie generatywne?
      1. Modelowanie generatywne a dyskryminatywne
      2. Postępy w uczeniu maszynowym
      3. Powstanie modelowania generatywnego
      4. Framework modelowania generatywnego
   2. Probabilistyczne modele generatywne
      1. Witaj, Zlemio!
      2. Twój pierwszy probabilistyczny model generatywny
      3. Naiwny model Bayesa
      4. Witaj, Zlemio! Kontynuacja
   3. Wyzwania modelowania generatywnego
      1. Uczenie reprezentacji
   4. Konfiguracja środowiska
   5. Podsumowanie
4. Rozdział 2. Uczenie głębokie
   1. Dane ustrukturyzowane i nieustrukturyzowane
   2. Głębokie sieci neuronowe
      1. Keras i TensorFlow
   3. Twoja pierwsza głęboka sieć neuronowa
      1. Ładowanie danych
      2. Budowanie modelu
      3. Kompilacja modelu
      4. Szkolenie modelu
      5. Ocena modelu
   4. Usprawnianie modelu
      1. Warstwy konwolucyjne
      2. Normalizacja partii
      3. Warstwy Dropout
      4. Połączenie warstw w całość
   5. Podsumowanie
5. Rozdział 3. Autoenkodery wariacyjne
   1. Wystawa
   2. Autoenkodery
      1. Twój pierwszy autoenkoder
      2. Koder
      3. Dekoder
      4. Połączenie kodera z dekoderem
      5. Analiza autoenkodera
   3. Wariacyjna wystawa sztuki
   4. Budowanie autoenkodera wariacyjnego
      1. Koder
      2. Funkcja strat
      3. Analiza autoenkodera wariacyjnego
   5. Korzystanie z VAE do generowania twarzy
      1. Szkolenie VAE
      2. Analiza VAE
      3. Generowanie nowych twarzy
      4. Arytmetyka przestrzeni ukrytej
      5. Morfing twarzy
   6. Podsumowanie
6. Rozdział 4. Sieci GAN
   1. Ganimale
   2. Wprowadzenie do sieci GAN
   3. Twoja pierwsza sieć GAN
      1. Dyskryminator
      2. Generator
      3. Szkolenie sieci GAN
   4. Wyzwania dla sieci GAN
      1. Oscylacyjne straty
      2. Załamanie trybu
      3. Mylące wartości funkcji strat
      4. Hiperparametry
      5. Stawianie czoła wyzwaniom związanym z GAN
   5. Model GAN Wassersteina
      1. Funkcja straty Wassersteina
      2. Ograniczenie Lipschitza
      3. Obcinanie wag
      4. Szkolenie sieci WGAN
      5. Analiza sieci WGAN
   6. WGAN-GP
      1. Funkcja straty z ograniczeniem gradientu
      2. Analiza sieci WGAN-GP
   7. Podsumowanie
7. Część II. Uczenie komputerów malowania, pisania, komponowania i grania
8. Rozdział 5. Malowanie
   1. Jabłka i pomarańcze
   2. CycleGAN
   3. Twoja pierwsza sieć CycleGAN
      1. Przegląd
      2. Generatory (U-Net)
      3. Dyskryminatory
      4. Kompilacja modelu CycleGAN
      5. Szkolenie sieci CycleGAN
      6. Analiza sieci CycleGAN
   4. Tworzenie sieci CycleGAN, która maluje w stylu Moneta
      1. Generatory (ResNet)
      2. Analiza zaprojektowanej sieci CycleGAN
   5. Neuronowy transfer stylu
      1. Utrata treści
      2. Utrata stylu
      3. Całkowita utrata wariancji
      4. Uruchomienie neuronowego transferu stylów
      5. Analiza modelu neuronowego transferu stylu
   6. Podsumowanie
9. Rozdział 6. Pisanie
   1. Literackie Stowarzyszenie Twórczych Miernot
   2. Sieci LSTM
   3. Twoja pierwsza sieć LSTM
      1. Tokenizacja
      2. Budowanie zestawu danych
      3. Architektura LSTM
      4. Warstwa Embedding
      5. Warstwa LSTM
      6. Komórka LSTM
   4. Generowanie nowego tekstu
   5. Rozszerzenia sieci RNN
      1. Stos sieci rekurencyjnych
      2. Sieci GRU
      3. Komórki dwukierunkowe
   6. Modele koder-dekoder
   7. Generator pytań i odpowiedzi
      1. Zestaw danych pytanie – odpowiedź
      2. Architektura modelu
      3. Wnioskowanie
      4. Wyniki modelu
   8. Podsumowanie
10. Rozdział 7. Komponowanie muzyki
    1. Wymagania wstępne
       1. Notacja muzyczna
    2. Twoja pierwsza sieć RNN do generowania muzyki
       1. Mechanizm uwagi
       2. Budowanie mechanizmu uwagi w Keras
       3. Analiza sieci RNN z mechanizmem uwagi
       4. Mechanizm uwagi w sieciach koder-dekoder
       5. Generowanie polifonicznej muzyki
    3. MuseGAN
    4. Twoja pierwsza sieć MuseGAN
    5. Generator sieci MuseGAN
       1. Akordy, styl, melodia i ścieżki
          1. Akordy
          2. Styl
          3. Melodia
          4. Ścieżki
       2. Generator taktów
       3. Połączenie architektury w całość
    6. Krytyk
    7. Analiza sieci MuseGAN
    8. Podsumowanie
11. Rozdział 8. Gry
    1. Uczenie przez wzmacnianie
       1. OpenAI Gym
    2. Architektura modelu świata
       1. Autoenkoder wariacyjny
       2. MDN-RNN
       3. Kontroler
    3. Konfiguracja
    4. Przegląd procesu szkolenia
    5. Zbieranie losowych danych rozgrywki
    6. Szkolenie VAE
       1. Architektura VAE
       2. Eksploracja VAE
          1. Pełny model
          2. Modele kodera
          3. Model dekodera
    7. Pobieranie danych do szkolenia sieci RNN
    8. Szkolenie sieci MDN-RNN
       1. Architektura sieci MDN-RNN
       2. Próbkowanie następnego wektora z i wartości nagrody z sieci MDN-RNN
       3. Funkcja straty sieci MDN-RNN
    9. Szkolenie kontrolera
       1. Architektura kontrolera
       2. CMA-ES
       3. Współbieżny algorytm CMA-ES
       4. Wyjście ze szkolenia kontrolera
    10. Szkolenie „we śnie”
        1. Szkolenie kontrolera „we śnie”
        2. Wyzwania związane ze szkoleniem „we śnie”
    11. Podsumowanie
12. Rozdział 9. Przyszłość modelowania generatywnego
    1. Pięć lat postępu
    2. Transformer
       1. Kodowanie pozycyjne
       2. Warstwy Multi-head Attention
       3. Dekoder
       4. Analiza modelu Transformer
       5. BERT
       6. GPT-2
       7. MuseNet
    3. Postępy w generowaniu obrazów
       1. ProGAN
       2. SAGAN
       3. BigGAN
       4. StyleGAN
    4. Zastosowania modelowania generatywnego
       1. Sztuka AI
       2. Muzyka AI
13. Rozdział 10. Zakończenie
    1. O autorze
    2. Kolofon