Chapitre 2. Débuter avec Dask
Nous sommes très heureux que tu aies décidé d'explorer si Dask est le système qu'il te faut en l'essayant. Dans ce chapitre, nous allons nous concentrer sur l'utilisation de Dask en mode local. À l'aide de celui-ci, nous explorerons quelques tâches de calcul parallèle plus simples (y compris la préférée de tout le monde, le comptage de mots).1
Installer Dask localement
L'installation locale de Dask est raisonnablement simple. Si tu veux commencer à fonctionner sur plusieurs machines, c'est souvent plus facile lorsque tu commences avec un environnement conda (ou virtualenv). Cela te permet de savoir de quels paquets tu dépends en lançant pip freeze pour t'assurer qu'ils sont sur tous les travailleurs lorsqu'il est temps de passer à l'échelle.
Bien que tu puisses simplement lancer pip install -U dask, nous préférons utiliser un environnement conda car il est plus facile de faire correspondre la version de Python à celle d'un cluster, ce qui nous permet de connecter directement une machine locale au cluster.2 Si tu n'as pas encore conda sur ta machine, Miniforge est un bon moyen rapide d'installer conda sur plusieurs plateformes. L'installation de Dask dans un nouvel environnement conda est illustrée dans l'exemple 2-1.
Exemple 2-1. Installation de Dask dans un nouvel environnement conda
condacreate-ndaskpython=3.8.6 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access