Rédigé par Bernard Van Renterghem et Xavier Gonze (responsable) (Version 2 du 11 février )
version www disponible à l'adresse http://www.cism.ucl.ac.be/Administration/Rapports/rapport2007/index.html

Le présent rapport a pour but de fournir un résumé des activités de l'institut du Calcul Intensif et du Stockage de Masse (CISM) et de l'équipe qui en gère les équipements, pour l'année 2007. Le lecteur disposant de la version imprimée est invité à consulter la version électronique où les hyperliens donnent accès aux références de ce rapport. Il fait suite aux rapports annuels d'activités du CISM (2004, 2005 et 2006), et à ceux du Comité du Calcul Intensif (CCI) qui était en place avant l'existence du CISM. Les faits saillants de l'année 2007 y sont extraits d'une masse brute de procès-verbaux et de statistiques.

Pour rappel, l'équipe de gestion assure la maintenance quotidienne des équipements ainsi que le support aux utilisateurs, sous la responsabilité du Directeur du CISM, le Pr. X. Gonze. Le Conseil de direction du CISM, composé des représentants de tous les utilisateurs et présidé par le Pr. D. Peeters, se réunit régulièrement pour définir les stratégies à moyen et long terme, préparer les éventuels projets et évaluer le fonctionnement de l'institut. Les procès-verbaux de ces réunions sont disponibles pour les membres de la communauté universitaire.

1. 2007 en bref.

En 2006, le CISM avait pu mettre en production un serveur de calcul, complété d'un système de stockage de masse sur disque.
Cette infrastructure, nommée "lemaitre" a été utilisée intensément en 2007. Après négociation, le constructeur SUN Microsystems a consenti à un ajustement de matériels à moindre prix pour remédier à certaines faiblesses. Sa fiabilité a été excellente.

De nombreuses actions prospectives ont été entreprises en 2007 (voir section 5). Tout d'abord, un partenariat avec l'unité PCPM a été mis sur pied, devant mener à l'acquisition d'une nouvelle infrastructure, probablement plus de trois fois plus puissante que "lemaitre". Une attention particulière a été portée à l'aspect "économie d'énergie" (électricité, dissipation de chaleur) de cette infrastructure. D'autre part, d'importantes modifications du CISM ont été préparées, aussi bien du point de vue du personnel (départ d'un membre et  crédit-temps (mi-temps) dans une équipe de quatre) que du point de vue de son insertion dans la structure de l'Université (transformation de l'institut en plate-forme technologique).

En ce qui concerne les autres faits saillants de cette année 2007, nous noterons la croissance des besoins en termes de stockage de masse (section 2.3). Deux serveurs de calcul ont également été déclassés (section 2.4), libérant de l'espace dans les salles machines. Les formations ont été poursuivies (section 3). Le CISM a poursuivi le projet interuniversitaire d'ouverture des gros équipements de calcul intensif au niveau de la communauté française (section 4.3). Il coopère au déploiement d'un TIER2 à l'UCL, faisant partie de l'expérience CMS (CERN). En retour, les utilisateurs du CISM peuvent profiter de 10% de la puissance de cette infrastructure (section 4.1). L'équipe de gestion du CISM s'implique dans divers projets du SGSI (section 4.2).

Quarante-huit publications ont bénéficié de l'apport essentiel des infrastructures CISM en 2007, voir annexe C.

2. Matériel et infrastructure

En attendant 2008, qui verra le déploiement d'une nouvelle grappe de calcul, initiée par l'unité PCPM, les utilisateurs de l'institut ont tiré pleinement parti de l'infrastructure lemaitre, des serveurs plus anciens et d'une partie des ressources d'Ingrid, le Tier-2 belge à l'UCL (FYNU).
La puissance théorique maximale cumulée de l'ensemble des serveurs de calcul  a augmenté de 6,6%, à un peu plus de 2 Tflops. La puissance offerte par Ingrid (FYNU) compense avantageusement le déclassement de l'ancienne grappe cox et de decci7. Un tableau récapitulatif est présenté en annexe A ; les acquisitions de l'année 2007 y sont ajoutées à  la fin.

Le service de stockage de masse met à la disposition de l'ensemble de la communauté universitaire un espace en ligne de plus de 46 terabytes (TB). L'espace de stockage sur disque est réparti sur trois serveurs: diskus (12,2TB), lmftp (23,9TB) et lmstor (10,7TB). Lmftp et lmstor font partie de l'infrastructure du projet FNRS2004 "lemaitre". Un tableau récapitulatif est présenté en annexe B.

2.1. L'aquarium: la salle informatique B012 (PYTH02)

La salle "Aquarium" B012 (PYTH02) du Bâtiment Pythagore, née des besoins conjoints de  SGSI/SIPR et du CISM est entièrement opérationnelle. Les trois armoires, déployées aux places laissées vacantes ont rapidement été occupées par des serveurs de SIPR (serveurs de fichiers, mails, SAP,...). Le choix  d'un refroidissement par eau retenu par les services techniques de l'UCL s'avère extrêmement efficace et tend à se répandre largement parmi les centres informatiques européens et internationaux.
L'alimentation électrique redondante (à partir de deux cabines de transformation) et protégée par un onduleur a permis aux serveurs du bâtiment Pythagore de passer sans encombre une panne d'une des cabines haute tension.

2.2. La grappe lemaitre

Lemaitre est un outil puissant qui permet aux membres de l'UCL et à d'autres institutions (voir la coopération inter-universitaire) de réaliser de nombreux travaux scientifiques qui ne pourraient pas être entrepris sur une petite infrastructure. Par exemple, l'unité TERM a pu réaliser un calcul d'écoulement turbulent dans une grille de 67 millions de points, en tournant sur 64 processeurs durant 12 jours.
Le taux d'utilisation moyen est élevé, à 80%, et, hormis quelques pannes réparties ci-et-là sur les 128 noeuds de la grappe, sa fiabilité est excellente. Néanmoins, les limitations sévères voire les blocages ont parfois perturbé les utilisateurs durant le premier semestre.  La puissance du serveur  lms.cism.ucl.ac.be ("lemaitre stockage"), un Sunfire V440 (Quadri Sparc IIIi 1.6GHz 16GB RAM) n'était pas suffisante lors d'écritures et de lectures simultanées depuis un grand nombre de noeuds de travail. Les gestionnaires ont exigé de SUN Microsystems la possibilité d'installer un serveur plus puissant. Le 20 juin, lmx (=lmftp)un SUN Galaxy X4500 (2 Dual Core AMD Opteron 285/2.8GHz, 16GB RAM) prêté pour 2 mois, a remplacé lms au pilotage des armoires à disques StorEdge 6130 (les 6TB de /home et les 18TB de /storage). La période d'essais s'est avérée concluante: le serveur ne bloquait plus et disposait toujours de suffisamment de ressources CPU, même en période de stress. Le CISM a donc acquis à un prix très intéressant un serveur SUN Galaxy X4200 (semblable au X4500, mais sans les nombreux disques internes) et l'a déployé le 12 septembre 2007. Néanmoins, le débit maximal qu'offre le StorEdge 6130 plafonne à 80 MB/s en écriture, ce qui peut se révéler insuffisant. Une solution est à l'étude.
 La Sunfire V440 lms sert toujours de gestionnaire de batch (SGE Sun Grid Engine).

Les systèmes de stockage de masse du CISM sont basés à présent uniquement sur une technologie "armoires à disques". Au contraire des bandes magnétiques, les données hébergées sont directement disponibles en ligne. Ces données y sont déposées de manière sécurisée: La configuration RAID des armoires tolère la panne de disques, remplaçables à chaud. De plus, la récupération en cas de désastre est assurée par la délocalisation des serveurs et la mise en place d'un système de réplication des données (activé uniquement si l'utilisateur le souhaite).
Les trois serveurs actuels sont diskus.cism.ucl.ac.be, storage.cism.ucl.ac.be (lmstor) et lms.cism.ucl.ac.be (lmftp 06/07).
Diskus n'a pas connu d'évolution dans sa configuration. Il a juste été déplacé du bâtiment Pythagore (PYTH03) au Pierre Curie (A128) afin d'offrir la double localisation avec lms après le déclassement de replicus. Il offre une capacité nette de 12,2 TB. Sa technologie est plus ancienne (serveur datant de 2004, disques SCSI de 146 GB,...) et une réflexion est en cours afin d'anticiper son déclassement à la fin de son support par le constructeur.
Storage pilote un StorEdge 3511 d'une capacité nette de 10.7 TB ( /stor3511 7.1TB et /mirror 3.6TB) utilisé directement dans l'infrastructure de calcul lemaitre.
Le troisième serveur lms "lemaitre stockage" a fait l'objet d'importants remaniements en 2007. En début d'année, lms disposait de 27,3 TB de capacité brute, répartie notamment en 12 TB pour le stockage de masse et 5.9 TB pour les home directories des utilisateurs. En mars, le Conseil de Direction a marqué son accord pour l'ajout d'un panier supplémentaire au SUN StorEdge 6130 (+6 TB, 16x500GB SATA disks, 13 KEuro TVAc). Son espace de stockage de masse s'élève donc à 18 TB.
La nécessité d'un serveur plus puissant pour les home directories a concerné également les utilisateurs du système de stockage de masse, car le Sun StorEdge 6130 a été branché sur un nouveau serveur lmx (appelé lmftp) à partir du 20 juin 2007.

2.4. Déclassement des serveurs plus anciens

En mars 2007, la branche cox, 11 bi-processeurs PIII à 933MHz, disposant d'un réseau Myrinet a été déclassée. Les noeuds servent d'outils de monitoring ou de machines de tests. Le front-end cox continue de gérer les 14 noeuds vortX, des P4/2.4GHz.
Un serveur Alpha ES40, decci7,a été déclassé car ses modules de mémoire étaient défaillants. La grappe decci, qui n'est plus couverte par un contrat de maintenance, est ainsi passée de 49 à 44 Gflops (à comparer avec les 1526 Gflops de lemaitre). Elle rend néanmoins toujours de bons services (28 processeurs disponibles, un noeud à 32GB de RAM) mais devra probablement être déclassée pour soulager le système de conditionnement d'air du PYTH03 lors de l'installation de prochaines machines.

3. Formations

Comme les années précédentes, la formation et le suivi personnalisé des nouveaux utilisateurs ont été poursuivis, en complément de l'auto-information permise par le site Web. La salle de formation a continué de remplir son rôle: l'équipe du CISM a dispensé une série de  séances pratiques (d'octobre à novembre 2007), en augmentant le nombre d'exercices relatifs aux outils spécifiques du CISM:

• Introduction au calcul intensif. L'objectif de cette séance est de permettre aux personnes qui approchent pour la première fois le calcul intensif d'appréhender les concepts de base (grappes, machines SMP, mémoire cache, compilation, librairies optimisées, OpenMP, MPI) et de découvrir les équipements disponibles et l'organisation du service (enregistrement, aide, coût,...)
• introduction à UNIX/LINUX (orientée calcul intensif : commandes de bases, gestion des fichiers, pipes et redirections,  scripting shell,...)
• utiliser efficacement les outils du CISM : les différents serveurs, le système batch (PBS, SGE : règles, scripts, contrôle),la gestion de l'espace disque, le stockage, les accès (ssh, putty,...)
  
• MPI  (Message Passing Interface): deux séances pratiques
  
• la compilation:  les librairies, les différentes options, le debug, le profiling de code.

4. Actions et contacts hors-CISM

4.1. Le GRID à l'UCL

• L'étude de l'hébergement permet de déterminer un local au Marc de Hemptinne.
• Comme l'Aquarium, un système à eau glacée et armoires de refroidissement sont retenus.
• Seize racks sont prévus (à partager entre FYNU, SIPR et CISM) pour 160 kW de puissance disponible.
• La fin des travaux est prévue pour avril 2008.

4.2. L'implication des informaticiens CISM dans le SGSI

Les membres de l'équipe de gestion sont aussi, parallèlement/simultanément, membres du SGSI à temps partiel ou membres associés au SGSI. Ils s'impliquent activement dans une série de projets. En voici la liste (en général, chacune n'implique qu'un seul membre de l'équipe de gestion) :

4.3. Projet d'ouverture interuniversitaire des installations de calcul intensif de la communauté française.

A la suite de la décision de financement de postes de logisticiens de haut niveau à durée déterminée (4 années) par le FRS-FNRS, un consortium de cinq universités de la Communauté française de Belgique (UCL, ULB, UMH, FUNDP, ULg) pour la gestion des gros équipements avait été mis sur pied, fin 2006. Ce consortium, présidé par le Pr. X. Gonze, a déposé une proposition d'embauche de deux logisticiens en janvier 2007. En juin 2007, le FRS-FNRS a communiqué sa décision d'accorder un logisticien à ce projet.
Le consortium a mis au point une procédure d'embauche, lors de sa réunion du 14 septembre 2007, et l'appel aux candidats a été rendu publique mi-octobre. Huit candidatures ont été déposées, fin novembre. Quatre d'entre elles ont été retenues dans une "liste courte". Des entretiens individuels ont eu lieu, le 14 décembre 2007, aux FUNDP.
Mr. David COLIGNON (docteur en sciences appliquées de l'ULg), a été sélectionné. Il entrera en fonction le 1er mars 2008.
Pour rappel, la base de donnée du FNRS reprenant la liste des gros équipements en Communauté française de Belgique (et notamment le matériel de calcul intensif) peut être consultée et modifiée en ligne.
Indépendamment de ce projet financé par le FRS-FNRS, des contacts informels avec les FUNDP, avec, comme toile de fond,
l'intégration future dans une seule institution, ont eu lieu. Pour l'instant, il n'apparaît pas urgent que des actions plus structurées
soient menées à ce niveau.

5. 2007 et au delà...

1. contacts avec les constructeurs (quatre présentations, le 22/10/2007 et le 5/11/2007), afin de cerner les aspects techniques, et les aspects environnementaux des machines disponibles sur le marché ;
2. mise sur pied d'un protocole d'achat, et lancement d'un avis de marché au Moniteur (15/11/2007) ;
3. sur cette base, sélection d'une liste courte de vendeurs (5 compagnies ont été retenues).

4. rédaction d'un cahier des charges, comportant une description des caractéristiques matérielles, logicielles, et environnementales de l'équipement, et une description de benchmarks à réaliser (janvier 2008) ;
5. lancement de l'appel d'offres (fin janvier 2008) ;
6. sélection de la meilleure offre (fin mars 2008) ;
7. livraison de l'équipement (fin mai 2008)
8. installation, tests et mise en production (juin 2008  - août 2008).

Annexe A: tableau récapitulatif des différents serveurs de calcul.

Par rapport à 2006, l'offre de puissance a augmenté de 6,6%: le CISM gère un total de 14 serveurs SMP, 4 grappes de calcul, disposant ensemble de 396 processeurs, de 902 GB de RAM et de 23 TB d'espace disque, offrant une puissance théorique maximale d'un peu plus de 2 Tflops.

Annexe B: tableau récapitulatif des différents serveurs de stockage de masse.

Annexe C: Publications de résultats ayant été obtenus grâce aux machines du calcul intensif.

Les publications peuvent être consultées en ligne depuis la  base de donnée.