Un ami de longue date m’a fait une proposition que je n’ai pas pu refuser … il souhaitait quo-écrire un billet sur Sublimigeek alors vous pensez bien que j’ai accepté :)
C’est donc pour cette raison que ce billet sera peut être un peu (ou pas) technique, car nous allons vous parler de Clusters. Et pas de n’importe quel cluster, car celui-ci peut être configuré pour quasiment rien chez vous si jamais l’envie vous prenez !! Qui a dit que seul un g33k a ce genre d’envie ??

Informations supplémentaires :
Cet article a été rédigé par Breutsen et moi même. Si vous souhaitez contacter Breutsen, il vous est possible, soit de laisser un commentaire en fin d’article, soit de prendre contact avec moi même via le formulaire de contact et je lui transmettrai votre message.

Entrons maintenant dans le vif du sujet !!

Nous allons vous expliquer, dans ce tutoriel, comment monter un cluster de calculs minimaliste.

En effet, ce tutoriel est fait pour vous si comme nous :

• Vous voulez exécuter des applications lourdes en ressources (mémoires vives, temps de calculs, …)
• Vous avez dans vos {placards|garages|batcaves|chambres} plusieurs PC inutilisés (et que vous les gardez en vous disant qu’un jour vous en ferez quelque chose)
• Vous êtes un g33k, et que vous voulez le faire juste parce qu’on peut le faire !!

La procédure que nous allons détailler permet donc de monter un cluster de calculs dans son salon (ou toutes autres pièces bien sûr), et le tout à moindre coup car il s’agit d’une solution live !
Donc si cela ne fonctionne pas, si cela ne vous convient pas, ou si tout simplement vous ne voulez pas polluer toutes vos machines, il vous suffira de tout éteindre et de reprendre le cours normal de votre vie car aucune modification ne sera effectuée sur votre matériel :)

Liste du matériel nécessaire :
Pour monter son propre cluster, il faudra avoir au minimum 2 PC reliés par un câble Ethernet croisé, ou bien plusieurs PC avec autant de câbles Ethernet droits, et un switch ou commutateur réseau. Notez bien que nous parlons ici exclusivement de PC et non de machine Mac, Sun à processeurs Sparc, smartphones et/ou je ne sais quelles autres machines exotiques …

1 – Qu’est ce qu’un cluster ?!

Le cluster SGI Altix ICE 8200, JADE est un supercalculateur d’une puissance de 267 Tflop/s. Ce cluster comprend 23040 cœurs répartis sur 2880 nœuds.

Un cluster de calculs (ou grappe de serveurs) est un assemblage de plusieurs unités de calculs indépendantes, qui sont mises en commun par un réseau pour effectuer un calcul trop gros pour chaque machine seule. On parle alors d’architectures parallèles.
Pour être plus concret, prenons l’exemple du décodage de l’ADN, ou de l’observation des galaxies. Ce sont des calculs qui prendraient un temps astronomique pour le meilleur ordinateur du monde. Cependant, si on découpe cette énorme tâche en plusieurs petites tâches qui seront exécutées par plusieurs ordinateurs, on obtient des temps de calculs acceptables …

Exemple d’architecture à mémoires distribuées

On distingue alors plusieurs types d’architectures parallèles :

• Les architectures à mémoires partagées. Il s’agit des ordinateurs de bureaux possédant plusieurs CPU dans le même processeur (Dualcore, Quadcore,…), ou bien plusieurs processeurs sur la même carte mère.
  Ces processeurs partagent alors la même mémoire vive. Dans ce cas, c’est le système d’exploitation qui va gérer la charge de chaque CPU.
• Les architectures à mémoires distribuées. Il s’agit du cluster a proprement parlé, c’est a dire que chaque processeur possède une mémoire qui lui est propre, et les CPU communiquent entre eux par un réseau. Chaque unité indépendante est appelée nœud de calcul. La gestion des tâches est alors faite par un nœud maître, que l’on appellera le frontal, par opposition aux nœuds esclaves.
• Les architectures hybrides. Ce sont plusieurs machines à mémoires partagées qui sont reliées en réseau et travaillent ensemble.

Attention, il ne suffit pas de posséder une architecture parallèle pour faire du calcul parallèle … Il faudra aussi savoir coder/développer en parallèle !! (Cela fera certainement l’objet d’un prochain tutoriel si cela vous semble intéressant).

Pour vous en convaincre (et pour les possesseurs de multicores), lancez une application, par exemple votre navigateur préféré Firefox et monitorez l’activité de vos CPU. Un seul CPU travaillera sur le processus Firefox !

2 – Quel système d’exploitation choisir ?!

Bon ok, côté matériel, on a bien compris comment ça fonctionne … Mais après, il faut passer un temps fou à installer un système sur chaque nœud, à les configurer un à un etc … Que-nenni !

En fait, il suffit d’installer un système d’exploitation sur le frontal, et de démarrer les nœuds esclaves par un protocole PXE (Cf. section suivante). On configure alors un réseau à partir du frontal, on affecte ensuite une adresse IP à chaque nœud, et on propage toutes les données nécessaires sur chaque nœud.

Et le plus beau, c’est que tout ceci peut se faire automatiquement, et en solution live CD !

Comme nous sommes tous deux des adeptes des distributions Debian, nous vous proposons la dernière version de la distribution ParallelKnoppix qui est téléchargeable à cette adresse : http://pareto.uab.es/mcreel/PelicanHPC/ à partir de la section ”Download” ou directement via ce lien direct pour la version 2006 (l’image fait 582 Méga). Cette distribution possède tout l’arsenal nécessaire à la configuration d’un cluster, et surtout les librairies nécessaires aux calculs parallèles (notamment la librairie MPI ou Message passing interface, pour les connaisseurs).

Conseils à prendre en compte :
ParallelKnoppix est une distribution extrêmement précaire. Cette distribution n’est pas destinée à une utilisation bureautique ou serveur, mais elle est conçue pour être facile à utiliser dans un environnement qui peut être restauré rapidement si une catastrophe survient.
Il est fortement recommandé que vous utilisiez ParallelKnoppix et votre grappe de serveurs sur un réseau dédié qui sera déconnecté de l’Internet pour des raisons de sécurité.

3 – Qu’est ce que le PXE ?!

Le protocole PXE (ou Preboot eXecution Environment) est une invention merveilleuse qui permet, au travers d’un réseau, de démarrer un ordinateur à distance. On peut alors démarrer sur les disques durs présents sur la machine contrôlée, mais aussi et surtout démarrer depuis le réseau en récupérant une image de système d’exploitation qui se trouvera sur un serveur.

Cependant, cette technologie n’est pas compatible avec toutes les interfaces réseau, ainsi qu’avec tous les BIOS. Il existe alors une solution pour les machines non compatibles.
Cette solution se nomme gPXE, qui est une solution de Preboot eXecution Environment Open Source. gPXE permet alors d’activer le protocole PXE sur les machines ne prenant pas en charge la fonctionnalité de démarrage par réseau. (gPXE permet également l’ajout de protocoles de transferts de données, reportez vous à sa documentation si nécessaire). Il s’agit donc d’une image CD sur laquelle on va démarrer et qui va interroger le réseau pour voir si, par hasard, une image bootable ne s’y baladerait pas. Si tel est le cas, il va alors démarrer sur cette image et lancer l’installation du système d’exploitation.

Vous l’aurez compris, si votre machine n’est pas compatible PXE (option disponible normalement via le BIOS), il ne vous reste plus qu’à aller télécharger l’image de gPXE que vous trouverez ici : http://rom-o-matic.net/.

4 – Installation de l’OS :

Bon, on a (enfin) tout pour se lancer, alors allons-y, dans la joie, la gaieté et la bonne humeur :)

1. On regroupe toutes les machines qui formeront notre cluster dans un coin, pour éviter que votre {concubin(e)|maman|colocataire|doigt de pied} ne se plaigne trop de leurs présences.
On relie les X PC entre eux, soit avec un câble Ethernet croisé s’il l’on a que deux machines, soit avec X câble Ethernet droit et un switch, si X>1 (oui, vous noterez qu’un cluster de 1 PC ne sert absolument à rien !!).

2. On choisi ensuite un nœud qui sera le frontal, et on boot parallelKnoppix. L’installation se fait toute seule, laissez les options par défaut, à moins que vous sachiez ce que vous faites …

Informations importantes :
Si la machine qui vous servira de frontal possède un lecteur CD/DVD branché en Sérial ATA (ou SATA) sur la carte mère, sachez que ParallelKnoppix ne démarrera pas correctement à tous les coups et vous affichera alors cette superbe erreur :

Can't find KNOPPIX filesystem, sorry.
Dropping you to a (very limited) shell.
Press reset button to quit.

Pour résoudre cette erreur (pour Breutsen pas de souci apparemment, mais personnellement j’y ai passé|perdu pas mal de temps), il faut retourner dans votre BIOS est reconfigurer votre lecteur pour le passer en Mode IDE. Sur certains BIOS, il s’agit de l’option AHCI qu’il faut désactiver. Enregistrez ensuite les modifications et redémarrez votre machine.
Attention, si vous oubliez de reconfigurer votre BIOS une fois de retour sur votre OS préféré, sachez que le lecteur sera dans la plupart des cas non reconnu par le système tant que le mode SATA et/ou AHCI n’est pas réactivé !!

Pour retourner à notre installation, sachez que lors de nos tests, la détection du matériel et la gestion des pilotes s’est faite sans problème, qu’il s’agisse des pilotes de cartes graphiques ou de la reconnaissance de « combo » clavier/souris en Bluetooth. On arrive ensuite sur le bureau KDE (mais il est possible d’avoir un bureau Gnome, pour les fanatiques #troll). Vous pouvez alors configurer votre Bureau préféré comme bon vous semble.

Vous en conviendrez, rien de compliquer pour le moment (sauf l’histoire de compatibilité du lecteur mais ça va dépendre de votre machine). On passe alors à la configuration de notre cluster.

5 – Configuration du cluster : (le meilleur moment ^^)

**mode_g33k_on**Il sera intéressant pour les plus barbus d’entre vous, de savoir qu’il est possible de configurer entièrement votre cluster en mode console via les scripts prévus à cet effet. Si c’est pas beau ça !!**mode_g33k_off**

Sachez qu’il est également possible, pour les plus ”user friendly” d’entre vous, de réaliser cette configuration via le mode graphique alors ne vous inquiétez pas :)

D’ailleurs, pour que ce tutoriel reste digeste, nous allons vous proposer une configuration de notre cluster en mode graphique :

Dans le menu KDE (la barre de menus en bas de l’écran qui se planque si on ne la chatouille pas), cliquez sur l’icône ParallelKnoppix puis sur Setup ParallelKnoppix.

Les scripts de configuration vont alors configurer la première carte réseau détectée avec l’adresse IP 192.168.0.1, et créer un réseau local ayant des adresses IP de la forme 192.168.0.X.

Attention, si votre frontal dispose de plusieurs cartes réseau (pour être connecté à Internet par exemple), la première carte (eth0) sera toujours considérée comme la carte utilisée pour le cluster. Il vous faudra alors configurer les autres pour vous connecter aux autres réseaux. Il faut donc faire attention au moment de relier les câbles Ethernet à bien choisir sa carte réseau.

L’assistant de configuration vous propose donc de configurer (ou de reconfigurer) votre cluster selon s’il s’agit d’une première configuration, ou s’il faut ajouter ou supprimer un nœud sur un cluster existant. Quoi qu’il en soit, cliquez sur OK.

L’assistant vous demande ensuite quelles cartes réseaux seront utilisées, là encore, laissez le choix par défaut, à moins de savoir ce que vous faites.
L’assistant vous demande ensuite sur quelles partitions écrire un fichier de sauvegarde. Choisissez votre partition, et sachez qu’au redémarrage de la machine, vu que nous sommes sur un liveCD toutes les données seront perdues à moins de les stocker sur un disque dur externe par exemple.

A ce moment là, démarrez vos nœuds esclaves sur le PXE de votre BIOS ou avec le live CD gPXE, et ne faites rien. L’assistant (sur le frontal), vous demandera les options de boot des nœuds esclaves à paramétrer, laissez « 2 » par défaut, sauf si des options supplémentaires vous semblent nécessaires.

Le script démarre alors le serveur DHCP et il vous indique qu’il va rechercher sur le réseau les nœuds disponibles. Un message vous indiquera « Vous avez X nœuds disponibles ». Cliquez oui si tout les nœuds sont détectés, ou non pour refaire une recherche. L’installation démarre alors sur les nœuds esclaves, et lorsque tout est terminé, une fenêtre vous montre la liste des nœuds prêts à l’utilisation.

Voila c’est fini, votre cluster est configuré et fonctionnel !! A partir de ce moment, vous pouvez boire un bon coup pour fêter cette victoire.

6 – Utilisation du cluster :

OK, notre cluster est opérationnel, mais on en fait quoi maintenant ?!
Bonne question … mais avant tout, savourez encore un peu ce moment, car à partir de maintenant, le moindre dysfonctionnement sur le cluster sera de VOTRE faute !

Dans le dossier /home/knoppix, vous trouverez quelques exemples de codes pour tester votre cluster. On utilise principalement les bibliothèques MPI pour calculer sur ce type de cluster. Il existe donc les compilateurs MPICC (pour compiler un code source en parallèle C), ou MPIF77 et MPIF90 (pour les adeptes du Fortran comme moi «« là c’est Breutsen qui cause hein ^^).

Ils s’utilisent alors comme vos compilateurs habituels :

knoppix@host[location]$ mpicc -o NomDuProgramme CodeSourceACompiler.c

Et pour soumettre le programme sur le cluster :

knoppix@host[location]$ mpirun -np X NomDuProgramme

La commande mpirun prend alors le paramètre suivant :
-np X qui indique que notre programme « NomDuProgramme » sera exécuté sur X CPU (attention, il s’agit bien de CPU et non de nœuds !!).

Testez par exemple le script python traçant des fractales, dans le répertoire /home/knoppix/Examples/python, avec la commande suivante :

knoppix@host[location]$ mpirun -np 10 –hostfile /temp/bhosts pyMPI fractal.py

Le résultat est un fichier image dans le dossier courant. Vous trouverez sur la toile de nombreux exemples de programmes en parallèles, assez impressionnants (voir la section Marques Ta Page en fin d’article).

Lors de l’exécution de vos programmes parallèles, vous pouvez monitorer l’activité de chaque nœud, dans le menu parallelKnoppix puis PK Cluster Monitor. Finalement, avec l’option remastering, vous pouvez enregistrer vos paramètres actuels sur une partition du disque dur, ou bien en image ISO pour ne pas refaire toute la configuration, et sauvegarder vos codes et résultats …

7 – Remarques et conclusion :

Voila, vous savez maintenant comment monter un cluster assez facilement. Il ne vous reste plus qu’à apprendre à développer vos propres codes en parallèles, pour ceux qui ne savent pas déjà le faire.
Si vous souhaitez posséder un cluster de manière plus permanente, sachez qu’il existe de nombreuses distributions (Debian, Ubuntu …) qui permettent de monter des clusters, presque aussi facilement que ce que vous venez de voir, tout en étant bien plus sécurisées que ParallelKnoppix !!

En bonus, voici quelques images de clusters glanées sur la Toile, histoire de vous montrer ce que vous êtes maintenant capable de faire :

Ici le cluster du Centre Commun de Calcul Intensif de l'Université des Antilles et de la Guyane

Ici un second cluster du Centre Commun de Calcul Intensif de l'Université des Antilles et de la Guyane

Ici un exemple d'un cluster fait maison avec des Mac Mini de chez Apple, joli non ?

Mes « marque TA page » glanés lors de ce périple sur les clusters :

---

Un site proposant quelques supports de cours pour développer en parallèle et qui met à disposition quelques exemples : http://www.idris.fr/data/cours/parallel/mpi/choix_doc.html

Voici les sources que j’ai utilisées pour réaliser ce billet :
– Les différents liens Wikipédia qui parsement cet article.
– Une grande part des connaissances de mon ami Breutsen (n’hésitez pas à le contacter si vous avez des questions)
– Et une grosse partie des README et autres tutoriels disponibles sur le liveCD de la distribution ParallelKnoppix !!

Source de l’image utilisée en illustration : Patriceguay.com
Sources des images utilisées en illustration de l’article : Streamlab.info, Cines.fr, Calamar.univ-ag.fr, ainsi que de nombreux screenshots disponibles sur le liveCD de la distribution ParallelKnoppix.