Uczenie maszynowe z użyciem Scikit-Learn i TensorFlow

Table of contents

1. Przedmowa
   1. Fenomen uczenia maszynowego
   2. Uczenie maszynowe w Twoich projektach
   3. Cel i sposób jego osiągnięcia
   4. Wymogi wstępne
   5. Zawartość książki
   6. Zmiany wprowadzone w nowym wydaniu
   7. Dodatkowe zasoby
   8. Konwencje stosowane w książce
   9. Kod źródłowy
   10. Korzystanie z kodu źródłowego
   11. Podziękowania
2. Część I Podstawy uczenia maszynowego
3. Rozdział 1. Krajobraz uczenia maszynowego
   1. Czym jest uczenie maszynowe?
   2. Dlaczego warto korzystać z uczenia maszynowego?
   3. Przykładowe zastosowania
   4. Rodzaje systemów uczenia maszynowego
      1. Uczenie nadzorowane i uczenie nienadzorowane
         1. Uczenie nadzorowane
         2. Uczenie nienadzorowane
         3. Uczenie półnadzorowane
         4. Uczenie przez wzmacnianie
      2. Uczenie wsadowe i uczenie przyrostowe
         1. Uczenie wsadowe
         2. Uczenie przyrostowe
      3. Uczenie z przykładów i uczenie z modelu
         1. Uczenie z przykładów
         2. Uczenie z modelu
   5. Główne problemy uczenia maszynowego
      1. Niedobór danych uczących
      2. Niereprezentatywne dane uczące
      3. Dane kiepskiej jakości
      4. Nieistotne cechy
      5. Przetrenowanie danych uczących
      6. Niedotrenowanie danych uczących
      7. Podsumowanie
   6. Testowanie i ocenianie
      1. Strojenie hiperparametrów i dobór modelu
      2. Niezgodność danych
   7. Ćwiczenia
4. Rozdział 2. Nasz pierwszy projekt uczenia maszynowego
   1. Praca z rzeczywistymi danymi
   2. Przeanalizuj całokształt projektu
      1. Określ zakres problemu
      2. Wybierz metrykę wydajności
      3. Sprawdź założenia
   3. Zdobądź dane
      1. Stwórz przestrzeń roboczą
      2. Pobierz dane
      3. Rzut oka na strukturę danych
      4. Stwórz zbiór testowy
   4. Odkrywaj i wizualizuj dane, aby zdobywać nowe informacje
      1. Wizualizowanie danych geograficznych
      2. Poszukiwanie korelacji
      3. Eksperymentowanie z kombinacjami atrybutów
   5. Przygotuj dane pod algorytmy uczenia maszynowego
      1. Oczyszczanie danych
      2. Obsługa tekstu i atrybutów kategorialnych
      3. Niestandardowe transformatory
      4. Skalowanie cech
      5. Potoki transformujące
   6. Wybór i uczenie modelu
      1. Trenowanie i ocena modelu za pomocą zbioru uczącego
      2. Dokładniejsze ocenianie za pomocą sprawdzianu krzyżowego
   7. Wyreguluj swój model
      1. Metoda przeszukiwania siatki
      2. Metoda losowego przeszukiwania
      3. Metody zespołowe
      4. Analizuj najlepsze modele i ich błędy
      5. Oceń system za pomocą zbioru testowego
   8. Uruchom, monitoruj i utrzymuj swój system
   9. Teraz Twoja kolej!
   10. Ćwiczenia
5. Rozdział 3. Klasyfikacja
   1. Zbiór danych MNIST
   2. Uczenie klasyfikatora binarnego
   3. Miary wydajności
      1. Pomiar dokładności za pomocą sprawdzianu krzyżowego
      2. Macierz pomyłek
      3. Precyzja i pełność
      4. Kompromis pomiędzy precyzją a pełnością
      5. Wykres krzywej ROC
   4. Klasyfikacja wieloklasowa
   5. Analiza błędów
   6. Klasyfikacja wieloetykietowa
   7. Klasyfikacja wielowyjściowa
   8. Ćwiczenia
6. Rozdział 4. Uczenie modeli
   1. Regresja liniowa
      1. Równanie normalne
      2. Złożoność obliczeniowa
   2. Gradient prosty
      1. Wsadowy gradient prosty
      2. Stochastyczny spadek wzdłuż gradientu
      3. Schodzenie po gradiencie z minigrupami
   3. Regresja wielomianowa
   4. Krzywe uczenia
   5. Regularyzowane modele liniowe
      1. Regresja grzbietowa
      2. Regresja metodą LASSO
      3. Metoda elastycznej siatki
      4. Wczesne zatrzymywanie
   6. Regresja logistyczna
      1. Szacowanie prawdopodobieństwa
      2. Funkcje ucząca i kosztu
      3. Granice decyzyjne
      4. Regresja softmax
   7. Ćwiczenia
7. Rozdział 5. Maszyny wektorów nośnych
   1. Liniowa klasyfikacja SVM
      1. Klasyfikacja miękkiego marginesu
   2. Nieliniowa klasyfikacja SVM
      1. Jądro wielomianowe
      2. Cechy podobieństwa
      3. Gaussowskie jądro RBF
      4. Złożoność obliczeniowa
   3. Regresja SVM
   4. Mechanizm działania
      1. Funkcja decyzyjna i prognozy
      2. Cel uczenia
      3. Programowanie kwadratowe
      4. Problem dualny
      5. Kernelizowane maszyny SVM
      6. Przyrostowe maszyny SVM
   5. Ćwiczenia
8. Rozdział 6. Drzewa decyzyjne
   1. Uczenie i wizualizowanie drzewa decyzyjnego
   2. Wyliczanie prognoz
   3. Szacowanie prawdopodobieństw przynależności do klas
   4. Algorytm uczący CART
   5. Złożoność obliczeniowa
   6. Wskaźnik Giniego czy entropia?
   7. Hiperparametry regularyzacyjne
   8. Regresja
   9. Niestabilność
   10. Ćwiczenia
9. Rozdział 7. Uczenie zespołowe i losowe lasy
   1. Klasyfikatory głosujące
   2. Agregacja i wklejanie
      1. Agregacja i wklejanie w module Scikit-Learn
      2. Ocena OOB
   3. Rejony losowe i podprzestrzenie losowe
   4. Losowe lasy
      1. Zespół Extra-Trees
      2. Istotność cech
   5. Wzmacnianie
      1. AdaBoost
      2. Wzmacnianie gradientowe
   6. Kontaminacja
   7. Ćwiczenia
10. Rozdział 8. Redukcja wymiarowości
    1. Klątwa wymiarowości
    2. Główne strategie redukcji wymiarowości
       1. Rzutowanie
       2. Uczenie rozmaitościowe
    3. Analiza PCA
       1. Zachowanie wariancji
       2. Główne składowe
       3. Rzutowanie na d wymiarów
       4. Implementacja w module Scikit-Learn
       5. Współczynnik wariancji wyjaśnionej
       6. Wybór właściwej liczby wymiarów
       7. Algorytm PCA w zastosowaniach kompresji
       8. Losowa analiza PCA
       9. Przyrostowa analiza PCA
    4. Jądrowa analiza PCA
       1. Wybór jądra i strojenie hiperparametrów
    5. Algorytm LLE
    6. Inne techniki redukowania wymiarowości
    7. Ćwiczenia
11. Rozdział 9. Techniki uczenia nienadzorowanego
    1. Analiza skupień
       1. Algorytm centroidów
          1. Mechanizm działania algorytmu
          2. Metody inicjalizowania centroidów
          3. Przyspieszony algorytm centroidów i algorytm centroidów z minigrupami
          4. Wyszukiwanie optymalnej liczby skupień
       2. Granice algorytmu centroidów
       3. Analiza skupień w segmentacji obrazu
       4. Analiza skupień w przetwarzaniu wstępnym
       5. Analiza skupień w uczeniu półnadzorowanym
       6. Algorytm DBSCAN
       7. Inne algorytmy analizy skupień
    2. Mieszaniny gaussowskie
       1. Wykrywanie anomalii za pomocą mieszanin gaussowskich
       2. Wyznaczanie liczby skupień
       3. Modele bayesowskie mieszanin gaussowskich
       4. Inne algorytmy służące do wykrywania anomalii i nowości
    3. Ćwiczenia
12. Część II Sieci neuronowe i uczenie głębokie
13. Rozdział 10. Wprowadzenie do sztucznych sieci neuronowych i ich implementacji z użyciem interfejsu Keras
    1. Od biologicznych do sztucznych neuronów
       1. Neurony biologiczne
       2. Operacje logiczne przy użyciu neuronów
       3. Perceptron
       4. Perceptron wielowarstwowy i propagacja wsteczna
       5. Regresyjne perceptrony wielowarstwowe
       6. Klasyfikacyjne perceptrony wielowarstwowe
    2. Implementowanie perceptronów wielowarstwowych za pomocą interfejsu Keras
       1. Instalacja modułu TensorFlow 2
       2. Tworzenie klasyfikatora obrazów za pomocą interfejsu sekwencyjnego
          1. Wczytywanie danych za pomocą interfejsu Keras
          2. Tworzenie modelu za pomocą interfejsu sekwencyjnego
          3. Kompilowanie modelu
          4. Trenowanie i ocenianie modelu
          5. Uzyskiwanie prognoz za pomocą modelu
       3. Tworzenie regresyjnego perceptronu wielowarstwowego za pomocą interfejsu sekwencyjnego
       4. Tworzenie złożonych modeli za pomocą interfejsu funkcyjnego
       5. Tworzenie modeli dynamicznych za pomocą interfejsu podklasowego
       6. Zapisywanie i odczytywanie modelu
       7. Stosowanie wywołań zwrotnych
       8. Wizualizacja danych za pomocą narzędzia TensorBoard
    3. Dostrajanie hiperparametrów sieci neuronowej
       1. Liczba warstw ukrytych
       2. Liczba neuronów w poszczególnych warstwach ukrytych
       3. Współczynnik uczenia, rozmiar grupy i pozostałe hiperparametry
    4. Ćwiczenia
14. Rozdział 11. Uczenie głębokich sieci neuronowych
    1. Problemy zanikających/eksplodujących gradientów
       1. Inicjalizacje wag Glorota i He
       2. Nienasycające funkcje aktywacji
       3. Normalizacja wsadowa
          1. Implementacja normalizacji wsadowej za pomocą interfejsu Keras
       4. Obcinanie gradientu
    2. Wielokrotne stosowanie gotowych warstw
       1. Uczenie transferowe w interfejsie Keras
       2. Nienadzorowane uczenie wstępne
       3. Uczenie wstępne za pomocą dodatkowego zadania
    3. Szybsze optymalizatory
       1. Optymalizacja momentum
       2. Przyspieszony spadek wzdłuż gradientu (algorytm Nesterova)
       3. AdaGrad
       4. RMSProp
       5. Optymalizatory Adam i Nadam
       6. Harmonogramowanie współczynnika uczenia
    4. Regularyzacja jako sposób zapobiegania przetrenowaniu
       1. Regularyzacja ℓ1 i ℓ2
       2. Porzucanie
       3. Regularyzacja typu Monte Carlo (MC)
       4. Regularyzacja typu max-norm
    5. Podsumowanie i praktyczne wskazówki
    6. Ćwiczenia
15. Rozdział 12. Modele niestandardowe i uczenie za pomocą modułu TensorFlow
    1. Krótkie omówienie modułu TensorFlow
    2. Korzystanie z modułu TensorFlow jak z biblioteki NumPy
       1. Tensory i operacje
       2. Tensory a biblioteka NumPy
       3. Konwersje typów
       4. Zmienne
       5. Inne struktury danych
    3. Dostosowywanie modeli i algorytmów uczenia
       1. Niestandardowe funkcje straty
       2. Zapisywanie i wczytywanie modeli zawierających elementy niestandardowe
       3. Niestandardowe funkcje aktywacji, inicjalizatory, regularyzatory i ograniczenia
       4. Niestandardowe wskaźniki
       5. Niestandardowe warstwy
       6. Niestandardowe modele
       7. Funkcje straty i wskaźniki oparte na elementach wewnętrznych modelu
       8. Obliczanie gradientów za pomocą różniczkowania automatycznego
       9. Niestandardowe pętle uczenia
    4. Funkcje i grafy modułu TensorFlow
       1. AutoGraph i kreślenie
       2. Reguły związane z funkcją TF
    5. Ćwiczenia
16. Rozdział 13. Wczytywanie i wstępne przetwarzanie danych za pomocą modułu TensorFlow
    1. Interfejs danych
       1. Łączenie przekształceń
       2. Tasowanie danych
          1. Przeplatanie wierszy z różnych plików
       3. Wstępne przetwarzanie danych
       4. Składanie wszystkiego w całość
       5. Pobieranie wstępne
       6. Stosowanie zestawu danych z interfejsem tf.keras
    2. Format TFRecord
       1. Skompresowane pliki TFRecord
       2. Wprowadzenie do buforów protokołów
       3. Bufory protokołów w module TensorFlow
       4. Wczytywanie i analizowanie składni obiektów Example
       5. Obsługa list za pomocą bufora protokołów SequenceExample
    3. Wstępne przetwarzanie cech wejściowych
       1. Kodowanie cech kategorialnych za pomocą wektorów gorącojedynkowych
       2. Kodowanie cech kategorialnych za pomocą wektorów właściwościowych
       3. Warstwy przetwarzania wstępnego w interfejsie Keras
    4. TF Transform
    5. Projekt TensorFlow Datasets (TFDS)
    6. Ćwiczenia
17. Rozdział 14. Głębokie widzenie komputerowe za pomocą splotowych sieci neuronowych
    1. Struktura kory wzrokowej
    2. Warstwy splotowe
       1. Filtry
       2. Stosy map cech
       3. Implementacja w module TensorFlow
       4. Zużycie pamięci operacyjnej
    3. Warstwa łącząca
       1. Implementacja w module TensorFlow
    4. Architektury splotowych sieci neuronowych
       1. LeNet-5
       2. AlexNet
       3. GoogLeNet
       4. VGGNet
       5. ResNet
       6. Xception
       7. SENet
    5. Implementacja sieci ResNet-34 za pomocą interfejsu Keras
    6. Korzystanie z gotowych modeli w interfejsie Keras
    7. Gotowe modele w uczeniu transferowym
    8. Klasyfikowanie i lokalizowanie
    9. Wykrywanie obiektów
       1. W pełni połączone sieci splotowe
       2. Sieć YOLO
    10. Segmentacja semantyczna
    11. Ćwiczenia
18. Rozdział 15. Przetwarzanie sekwencji za pomocą sieci rekurencyjnych i splotowych
    1. Neurony i warstwy rekurencyjne
       1. Komórki pamięci
       2. Sekwencje wejść i wyjść
    2. Uczenie sieci rekurencyjnych
    3. Prognozowanie szeregów czasowych
       1. Wskaźniki bazowe
       2. Implementacja prostej sieci rekurencyjnej
       3. Głębokie sieci rekurencyjne
       4. Prognozowanie kilka taktów w przód
    4. Obsługa długich sekwencji
       1. Zwalczanie problemu niestabilnych gradientów
       2. Zwalczanie problemu pamięci krótkotrwałej
          1. Komórki LSTM
          2. Połączenia przezierne
          3. Komórki GRU
          4. Wykorzystywanie jednowymiarowych warstw splotowych do przetwarzania sekwencji
          5. WaveNet
    5. Ćwiczenia
19. Rozdział 16. Przetwarzanie języka naturalnego za pomocą sieci rekurencyjnych i mechanizmów uwagi
    1. Generowanie tekstów szekspirowskich za pomocą znakowej sieci rekurencyjnej
       1. Tworzenie zestawu danych uczących
       2. Rozdzielanie zestawu danych sekwencyjnych
       3. Dzielenie zestawu danych sekwencyjnych na wiele ramek
       4. Budowanie i uczenie modelu Char-RNN
       5. Korzystanie z modelu Char-RNN
       6. Generowanie sztucznego tekstu szekspirowskiego
       7. Stanowe sieci rekurencyjne
    2. Analiza sentymentów
       1. Maskowanie
       2. Korzystanie z gotowych reprezentacji właściwościowych
    3. Sieć typu koder – dekoder służąca do neuronowego tłumaczenia maszynowego
       1. Dwukierunkowe warstwy rekurencyjne
       2. Przeszukiwanie wiązkowe
    4. Mechanizmy uwagi
       1. Mechanizm uwagi wizualnej
       2. Liczy się tylko uwaga, czyli architektura transformatora
          1. Pozycyjne wektory właściwościowe
          2. Wieloblokowy mechanizm uwagi
    5. Współczesne innowacje w modelach językowych
    6. Ćwiczenia
20. Rozdział 17. Uczenie reprezentacji za pomocą autokoderów i generatywnych sieci przeciwstawnych
    1. Efektywne reprezentacje danych
    2. Analiza PCA za pomocą niedopełnionego autokodera liniowego
    3. Autokodery stosowe
       1. Implementacja autokodera stosowego za pomocą interfejsu Keras
       2. Wizualizowanie rekonstrukcji
       3. Wizualizowanie zestawu danych Fashion MNIST
       4. Nienadzorowane uczenie wstępne za pomocą autokoderów stosowych
       5. Wiązanie wag
       6. Uczenie autokoderów pojedynczo
    4. Autokodery splotowe
    5. Autokodery rekurencyjne
    6. Autokodery odszumiające
    7. Autokodery rzadkie
    8. Autokodery wariacyjne
       1. Generowanie obrazów Fashion MNIST
    9. Generatywne sieci przeciwstawne
       1. Problemy związane z uczeniem sieci GAN
       2. Głębokie splotowe sieci GAN
       3. Rozrost progresywny sieci GAN
       4. Sieci StyleGAN
    10. Ćwiczenia
21. Rozdział 18. Uczenie przez wzmacnianie
    1. Uczenie się optymalizowania nagród
    2. Wyszukiwanie strategii
    3. Wprowadzenie do narzędzia OpenAI Gym
    4. Sieci neuronowe jako strategie
    5. Ocenianie czynności: problem przypisania zasługi
    6. Gradienty strategii
    7. Procesy decyzyjne Markowa
    8. Uczenie metodą różnic czasowych
    9. Q-uczenie
       1. Strategie poszukiwania
       2. Przybliżający algorytm Q-uczenia i Q-uczenie głębokie
    10. Implementacja modelu Q-uczenia głębokiego
    11. Odmiany Q-uczenia głębokiego
        1. Ustalone Q-wartości docelowe
        2. Podwójna sieć DQN
        3. Odtwarzanie priorytetowych doświadczeń
        4. Walcząca sieć DQN
    12. Biblioteka TF-Agents
        1. Instalacja biblioteki TF-Agents
        2. Środowiska TF-Agents
        3. Specyfikacja środowiska
        4. Funkcje opakowujące środowisko i wstępne przetwarzanie środowiska Atari
        5. Architektura ucząca
        6. Tworzenie Q-sieci głębokiej
        7. Tworzenie agenta DQN
        8. Tworzenie bufora odtwarzania i związanego z nim obserwatora
        9. Tworzenie wskaźników procesu uczenia
        10. Tworzenie sterownika
        11. Tworzenie zestawu danych
        12. Tworzenie pętli uczenia
    13. Przegląd popularnych algorytmów RN
    14. Ćwiczenia
22. Rozdział 19. Wielkoskalowe uczenie i wdrażanie modeli TensorFlow
    1. Eksploatacja modelu TensorFlow
       1. Korzystanie z systemu TensorFlow Serving
          1. Eksportowanie obiektów SavedModel
          2. Instalowanie serwera TensorFlow Serving
          3. Wysyłanie zapytań do serwera TF Serving za pomocą interfejsu REST
          4. Wysyłanie zapytań do serwera TF Serving za pomocą interfejsu gRPC
          5. Wdrażanie nowej wersji modelu
       2. Tworzenie usługi predykcyjnej na platformie GCP AI
       3. Korzystanie z usługi prognozowania
    2. Wdrażanie modelu na urządzeniu mobilnym lub wbudowanym
    3. Przyspieszanie obliczeń za pomocą procesorów graficznych
       1. Zakup własnej karty graficznej
       2. Korzystanie z maszyny wirtualnej wyposażonej w procesor graficzny
       3. Colaboratory
       4. Zarządzanie pamięcią operacyjną karty graficznej
       5. Umieszczanie operacji i zmiennych na urządzeniach
       6. Przetwarzanie równoległe na wielu urządzeniach
    4. Uczenie modeli za pomocą wielu urządzeń
       1. Zrównoleglanie modelu
       2. Zrównoleglanie danych
          1. Zrównoleglanie danych za pomocą strategii duplikowania
          2. Zrównoleglanie danych za pomocą scentralizowanych parametrów
             1. Aktualizacje synchroniczne
             2. Aktualizacje asynchroniczne
          3. Nasycenie przepustowości
       3. Uczenie wielkoskalowe za pomocą interfejsu strategii rozpraszania
       4. Uczenie modelu za pomocą klastra TensorFlow
       5. Realizowanie dużych grup zadań uczenia za pomocą usługi Google Cloud AI Platform
       6. Penetracyjne strojenie hiperparametrów w usłudze AI Platform
    5. Ćwiczenia
    6. Dziękuję!
23. Dodatek A Rozwiązania ćwiczeń
    1. Rozdział 1. Krajobraz uczenia maszynowego
    2. Rozdział 2. Nasz pierwszy projekt uczenia maszynowego
    3. Rozdział 3. Klasyfikacja
    4. Rozdział 4. Uczenie modeli
    5. Rozdział 5. Maszyny wektorów nośnych
    6. Rozdział 6. Drzewa decyzyjne
    7. Rozdział 7. Uczenie zespołowe i losowe lasy
    8. Rozdział 8. Redukcja wymiarowości
    9. Rozdział 9. Techniki uczenia nienadzorowanego
    10. Rozdział 10. Wprowadzenie do sztucznych sieci neuronowych i ich implementacji z użyciem interfejsu Keras
    11. Rozdział 11. Uczenie głębokich sieci neuronowych
    12. Rozdział 12. Modele niestandardowe i uczenie za pomocą modułu TensorFlow
    13. Rozdział 13. Wczytywanie i przetwarzanie wstępne danych za pomocą modułu TensorFlow
    14. Rozdział 14. Głębokie widzenie komputerowe za pomocą splotowych sieci neuronowych
    15. Rozdział 15. Przetwarzanie sekwencji za pomocą sieci rekurencyjnych i splotowych
    16. Rozdział 16. Przetwarzanie języka naturalnego za pomocą sieci rekurencyjnych i mechanizmów uwagi
    17. Rozdział 17. Uczenie reprezentacji za pomocą autokoderów i generatywnych sieci przeciwstawnych
    18. Rozdział 18. Uczenie przez wzmacnianie
    19. Rozdział 19. Wielkoskalowe uczenie i wdrażanie modeli TensorFlow
24. Dodatek B Lista kontrolna projektu uczenia maszynowego
    1. Określenie problemu i przeanalizowanie go w szerszej perspektywie
    2. Pozyskanie danych
    3. Analiza danych
    4. Przygotowanie danych
    5. Stworzenie krótkiej listy obiecujących modeli
    6. Dostrojenie modelu
    7. Zaprezentowanie rozwiązania
    8. Do dzieła!
25. Dodatek C Problem dualny w maszynach wektorów nośnych
26. Dodatek D Różniczkowanie automatyczne
    1. Różniczkowanie ręczne
    2. Metoda różnic skończonych
    3. Różniczkowanie automatyczne
    4. Odwrotne różniczkowanie automatyczne
27. Dodatek E Inne popularne architektury sieci neuronowych
    1. Sieci Hopfielda
    2. Maszyny Boltzmanna
    3. Ograniczone maszyny Boltzmanna
    4. Głębokie sieci przekonań
    5. Mapy samoorganizujące
28. Dodatek F Specjalne struktury danych
    1. Łańcuchy znaków
    2. Tensory nierówne
    3. Tensory rzadkie
    4. Tablice tensorowe
    5. Zbiory
    6. Kolejki
29. Dodatek G Grafy TensorFlow
    1. Funkcje TF i funkcje konkretne
    2. Analizowanie grafów i definicji funkcji
    3. Bliższe spojrzenie na śledzenie
    4. Analiza przepływu sterowania za pomocą narzędzia AutoGraph
    5. Obsługa zmiennych i innych zasobów w funkcjach TF
    6. Korzystanie (lub niekorzystanie) z funkcji TF wraz z interfejsem tf.keras
    7. Informacje o autorze
    8. Kolofon