Chapitre 16. Développer des applications Spark
Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : translation-feedback@oreilly.com
Au chapitre 15, tu as appris comment Spark exécute ton code sur le cluster. Nous allons maintenant te montrer à quel point il est facile de développer une application Spark autonome et de la déployer sur un cluster. Nous allons le faire à l'aide d'un modèle simple qui partage quelques conseils faciles sur la façon de structurer tes applications, y compris la mise en place d'outils de construction et de tests unitaires. Ce modèle est disponible dans le dépôt de code du livre. Ce modèle n'est pas vraiment nécessaire, car il n'est pas difficile d'écrire des applications à partir de zéro, mais il est utile. Commençons par notre première application.
Rédaction d'applications Spark
Spark Les applications sont la combinaison de deux choses : un cluster Spark et ton code. Dans ce cas, le cluster sera en mode local et l'application sera une application prédéfinie. Passons en revue une application dans chaque langue.
Une application simple basée sur Scala
Scala est le langage "natif" de Spark et permet naturellement d'écrire des applications. Ce n'est vraiment pas différent de l'écriture d'une application Scala.
Astuce
Scala peut sembler intimidant, selon ton parcours, mais cela vaut la peine de l'apprendre, ne serait-ce que pour comprendre un peu mieux Spark. En outre, tu n'as pas besoin d'apprendre tous les ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access