Spark haute performance (French Edition), 2nd Edition

Chapitre 11. Tests , validation et exécutions en parallèle

Cet ouvrage a été traduit à l'aide de l'IA. Tes réactions et tes commentaires sont les bienvenus : [e-mail]

Les erreurs détectées tardivement nécessitent souvent de coûteuses réexécutions de tâches ; il est donc essentiel de les détecter tôt pour garantir des analyses de données hautement performantes. Les tests, la validation et les comparaisons côte à côte sont trois techniques clés pour stopper les erreurs avant qu’elles n’atteignent la production. Ces erreurs peuvent avoir des conséquences concrètes, comme des interruptions de production, que plus de la moitié des personnes ont déjà subies (voir la figure 11-1), près de 20 % d’entre elles ayant même connu des pannes graves de leurs pipelines Spark. On ne recommande pas de miser sur l'espoir en matière de qualité logicielle ; d'une part, les chances ne sont pas très bonnes (moins de 50 %).¹ Au lieu de cela, dans ce chapitre, tu apprendras à identifier et à empêcher de nombreux types d’erreurs avant qu’elles n’affectent tes utilisateurs.²

Nous abordons séparément les tests unitaires et d’intégration, la validation et les exécutions en parallèle, même si tous ces éléments peuvent (de manière générale) être considérés comme une forme de test. Dans ce livre, nous considérons les tests principalement comme le processus hors ligne (automatisé ou manuel) visant à vérifier que notre logiciel se comporte comme prévu. La validation (parfois appelée audit ...