Spark haute performance (French Edition), 2nd Edition

Annexe F. L'interface Web Spark : débogage et optimisation de tes tâches

L'interface Web Spark est l'un des outils les plus puissants, mais aussi les plus sous-utilisés, de l'arsenal d'un ingénieur de données. Bien que nous y ayons fait référence tout au long de cet ouvrage pour vérifier la taille des partitions, surveiller le comportement des débordements et examiner les RDD mis en cache, cette annexe fournit un guide complet pour comprendre et utiliser efficacement tous les aspects de cette interface de surveillance intégrée. Plutôt que de te présenter un manuel de référence aride, on va apprendre à utiliser l'interface Web en déboguant un vrai problème de performances, un scénario auquel tout ingénieur de données est tôt ou tard confronté. Dans cette section, on espère te donner les outils pour réfléchir à la manière d'interpréter ce que l'interface Web t'indique et, surtout, comment traduire ces observations en améliorations concrètes des performances.

Un problème de performances concret

La première fois que beaucoup d’entre nous développent une application Big Data avec Apache Spark, quelque chose d’inattendu se produit : une tâche simple qui devrait s’exécuter en quelques secondes prend des minutes, voire ne se termine jamais. Les petits fichiers en sont souvent la cause. On partitionne les données de manière incorrecte et on écrit accidentellement des millions de petits fichiers sur Amazon S3 ou HDFS. Le code semble correct et la logique est solide, mais les performances ...