Introduction à l’utilisation de DL4J avec Spark et HadoopExécuter Spark à partir de la ligne de commandespark-submitTravailler avec la sécurité de Hadoop et KerberosTéléchargement de l’assemblage SparkInitialiser KerberosConfigurer et optimiser l’exécution de SparkExécuter Spark sur MesosExécuter Spark sur YARNComparer les modes d’exécution SparkGuide général pour la mise au point de SparkDéfinir le nombre d’executorsExecutors Spark et cœurs de processeursExecutors Spark et mémoireSpark, conteneur YARN et allocation de ressourcesComprendre les demandes de mémoire d’un executor dans YARNComprendre Spark, JVM et la collecte des déchetsTraiter le ralentissement de l’efficacité de la collecte des déchets ou des pausesSélectionner un collecteur de déchets pour JVM et SparkMettre au point les jobs DL4J sur SparkDéfinir le nombre d’executorsDéfinir la quantité de mémoire pour les executorsConfigurer un modèle d’objet de projet Maven pour Spark et DL4JUn modèle de dépendances dans un fichier pom.xmlConfigurer un fichier POM pour CDH 5.XConfigurer un fichier POM pour HDP 2.4Dépanner Spark et HadoopProblèmes courants avec ND4JOù chercher pour déboguer Spark ?ND4J et sérialisation Kryojnind4j et java.library.pathExécution en parallèle de DL4J sur SparkUn exemple d’entraînement Spark minimalL’APIDL4J et les meilleures pratiques pour SparkExemple de perceptron multicouche SparkConfigurer l’architecture réseau MLP pour SparkEntraînement et évaluation du modèle distribuéConstruire et exécuter un job Spark DL4JGénérer du texte à la manière de Shakespeare avec Spark et un réseau LSTMConfiguration de l’architecture de réseau LSTMEntraîner, suivre les progrès et comprendre les résultatsModéliser MNIST avec un réseau de neurones convolutifs sur SparkConfigurer le job Spark et charger les données MNISTConfigurer l’architecture et l’entraînement CNN de LeNet