TensorFlow pour le Deep learning

Table of contents

1. Couverture
2. TensorFlow pour le Deep learning
3. Copyright
4. INTRODUCTION
   1. Conventions utilisées dans ce livre
   2. Utiliser les exemples de code
5. CHAPITRE 1. Introduction au deep learning
   1. Le jour où l’apprentissage automatique a dévoré l’informatique
   2. Les primitives du deep learning
      1. Couche entièrement connectée
      2. Couche de convolution
      3. Couches des réseaux de neurones récurrents
      4. Cellules dans les réseaux LSTM
   3. Architectures de réseaux profonds
      1. LeNet
      2. AlexNet
      3. ResNet
      4. Modèle de sous-titrage neuronal
      5. Traduction automatique neuronale de Google
      6. Modèles one-shot
      7. AlphaGo
      8. Réseaux antagonistes génératifs
      9. Machines de Turing neuronales
   4. Deep learning et programmation
      1. Limitations de TensorFlow
   5. En résumé
6. CHAPITRE 2. Introduction aux primitives de TensorFlow
   1. Introduction aux tenseurs
      1. Scalaires, vecteurs et matrices
      2. Mathématiques matricielles
      3. Tenseurs
      4. Les tenseurs en physique
      5. Tenseurs et mathématiques
   2. Calculs de base dans TensorFlow
      1. Installer TensorFlow et se lancer
      2. Initialiser des tenseurs de base
      3. Échantillonner des tenseurs aléatoires
      4. Addition et multiplication de tenseurs
      5. Opérations matricielles
      6. Types de tenseurs
      7. Manipuler la forme des tenseurs
      8. Introduction au broadcasting
   3. Programmation impérative et déclarative
      1. Graphes TensorFlow
      2. Sessions TensorFlow
      3. Variables TensorFlow
   4. En résumé
7. CHAPITRE 3. Régression linéaire et logistique avec TensorFlow
   1. Quelques révisions mathématiques
      1. Fonctions et différentiabilité
      2. Fonctions de perte
         1. Classification et régression
         2. Perte L2
         3. Distributions de probabilité
         4. Perte d’entropie croisée
      3. Descente de gradient
      4. Systèmes de différenciation automatique
   2. Apprendre avec TensorFlow
      1. Créer des jeux de données jouets
         1. Une (extrêmement) brève introduction à NumPy
         2. Pourquoi les jeux de données jouets sont-ils importants ?
         3. Ajouter du bruit avec des gaussiennes
         4. Jeux de données jouets pour la régression
         5. Jeux de données jouets pour la classification
      2. Nouveaux concepts TensorFlow
         1. Placeholders
         2. Dictionnaires de flux et extractions
         3. Portées des noms
         4. Optimiseurs
         5. Obtenir des gradients avec TensorFlow
         6. Résumés et filewriters pour TensorBoard
         7. Entraîner des modèles avec TensorFlow
   3. Entraînement de modèles linéaires et logistiques dans TensorFlow
      1. Régression linéaire dans TensorFlow
         1. Définir et entraîner une régression linéaire dans TensorFlow
         2. Visualiser des modèles de régression linéaire avec TensorBoard
         3. Métriques pour l’évaluation des modèles de régression
      2. Régression logistique dans TensorFlow
         1. Visualiser des modèles de régression logistique avec TensorBoard
         2. Métriques pour l’évaluation des modèles de classification
   4. En résumé
8. CHAPITRE 4. Réseaux profonds entièrement connectés
   1. Qu’est-ce qu’un réseau profond entièrement connecté ?
   2. « Neurones » dans les réseaux entièrement connectés
      1. Apprendre des réseaux entièrement connectés avec la rétropropagation
      2. Théorème d’approximation universelle
      3. Pourquoi les réseaux « profonds » ?
   3. Entraîner des réseaux de neurones entièrement connectés
      1. Représentations apprenables
      2. Activations
      3. Les réseaux entièrement connectés mémorisent
      4. Régularisation
         1. Dropout
         2. Arrêt prématuré
         3. Régularisation des poids
      5. Entraîner des réseaux entièrement connectés
         1. Mini-lots
         2. Taux d’apprentissage
   4. Implémentation dans TensorFlow
      1. Installer DeepChem
      2. Le jeu de données Tox21
      3. Accepter des mini-lots de placeholders
      4. Implémenter une couche cachée
      5. Ajouter dropout à une couche cachée
      6. Implémenter les mini-lots
      7. Évaluer l’exactitude du modèle
      8. Utiliser TensorBoard pour suivre la convergence du modèle
   5. En résumé
9. CHAPITRE 5. Optimiser les hyperparamètres
   1. Évaluation du modèle et optimisation des hyperparamètres
   2. Métriques, métriques, métriques
      1. Métriques pour la classification binaire
      2. Métriques pour la classification multiclasse
      3. Métriques pour la régression
   3. Algorithmes d’optimisation des hyperparamètres
      1. Définir une baseline
      2. Méthode dite GSD
      3. Recherche par quadrillage
      4. Recherche aléatoire d’hyperparamètre
      5. Défi pour le lecteur
   4. En résumé
10. CHAPITRE 6. Réseaux de neurones convolutifs
    1. Introduction aux architectures convolutives
       1. Champs récepteurs locaux
       2. Noyaux de convolution
       3. Couches de pooling
       4. Construire des réseaux convolutifs
       5. Convolutions dilatées
    2. Applications des réseaux convolutifs
       1. Détection et localisation d’objets
       2. Segmentation d’image
       3. Convolutions de graphes
       4. Générer des images avec des auto-encodeurs variationnels
          1. Modèles antagonistes
    3. Entraîner un réseau convolutif dans TensorFlow
       1. Le jeu de données MNIST
       2. Charger MNIST
       3. Primitives convolutives de TensorFlow
       4. L’architecture convolutive
       5. Évaluer des modèles entraînés
       6. Défi pour le lecteur
    4. En résumé
11. CHAPITRE 7. Réseaux de neurones récurrents
    1. Généralités sur les architectures récurrentes
    2. Cellules récurrentes
       1. Longue mémoire à court terme (LSTM)
       2. Unités récurrentes à porte (GRU)
    3. Applications des modèles récurrents
       1. Échantillonnage à partir de réseaux récurrents
       2. Modèles Seq2seq
       3. Machines de Turing neuronales
    4. Travailler avec des réseaux de neurones récurrents en pratique
       1. Traiter le corpus Penn Treebank
       2. Code pour le prétraitement
       3. Charger des données dans TensorFlow
       4. L’architecture récurrente de base
       5. Défi pour le lecteur
    5. En résumé
12. CHAPITRE 8. Apprentissage par renforcement
    1. Processus de décision markovien
    2. Algorithmes d’apprentissage par renforcement
       1. Apprentissage Q
       2. Apprentissage de politique
       3. Entraînement asynchrone
    3. Limites de l’apprentissage par renforcement
    4. Jouer au morpion
       1. Orientation objet
       2. Environnement abstrait
       3. L’environnement Morpion
       4. L’abstraction Layer
       5. Définir un graphe d’objets Layer
    5. L’algorithme A3C
       1. La fonction de perte A3C
       2. Définir des ouvriers (workers)
       3. Entraîner la politique
       4. Défi pour le lecteur
    6. En résumé
13. CHAPITRE 9. Entraîner de grands réseaux profonds
    1. Matériel sur mesure pour les réseaux profonds
    2. Entraînement sur CPU
    3. Entraînement sur GPU
    4. Entraînement sur TPU
       1. Réseaux de portes programmables in situ (FPGA)
       2. Puces neuromorphiques
    5. Entraînement distribué de réseaux profonds
       1. Parallélisme des données
       2. Parallélisme du modèle
       3. Entraînement parallèle des données du jeu Cifar-10 avec plusieurs GPU
       4. Télécharger et charger les données
       5. Plongée en profondeur dans l’architecture
       6. Entraînement sur de multiples GPU
       7. Défi pour le lecteur
    6. En résumé
14. CHAPITRE 10. L’avenir du deep learning
    1. Le deep learning en dehors des industries technologiques
       1. Le deep learning dans l’industrie pharmaceutique
       2. Le deep learning en droit
       3. Le deep learning pour la robotique
       4. Le deep learning en agriculture
    2. Utiliser le deep learning de manière éthique
    3. L’intelligence artificielle générale est-elle imminente ?
    4. Que faire à présent ?
15. Sommaire