Rédigé par Xavier Gonze et Bernard Van Renterghem, à  approuver par le Conseil de Direction. (Version 2 du 14 juin 2005)
version www disponible à l'adresse http://www.cism.ucl.ac.be/Administration/Rapports/rapport2004/index.html

Le présent rapport a pour but de fournir un résumé des activités de l'institut du Calcul Intensif et du Stockage de Masse (CISM) et de l'équipe de gestion des équipements correspondants, pour l'année 2004. Le lecteur est invité à consulter la version électronique où les hyperliens donnent accès aux références de ce rapport ( http://www.cism.ucl.ac.be/Administration/Rapports/rapport2004/index.html ). Il fait suite à  un rapport du Comité du Calcul Intensif (CCI) pour l'année 2003, l'année 2002, l'année 2001 et au rapport quinquennal du CCI pour la période 1996-2001. Ce rapport vise à  extraire les faits saillants de l'année 2004, d'une masse brute de procès-verbaux et de statistiques,

1. Structures

L'année 2004 est celle de la mise en place de la nouvelle entité de logistique scientifique CISM dont la création avait été approuvée par le bureau exécutif de l'UCL en sa séance du 03/10/2003. Cette création résulte d'une réflexion approfondie menée au sein des comités de calcul intensif et de stockage de masse, ainsi qu'au sein de l'équipe de gestion. Le document fondateur du CISM, approuvé par les autorités universitaires, est disponible ici (PDF).

L'inauguration officielle du CISM, le 18 /03/2004 fut une journée importante. Par leur présence, les autorités ont montré l'intérêt que l'UCL porte aux outils de calcul intensif et de stockage de masse. Ce qui fut souligné lors de l'allocution du recteur M. Crochet.

En pratique, l'équipe de gestion assure la maintenance quotidienne des équipements ainsi que le support aux utilisateurs, sous la responsabilité du Directeur du CISM, le Pr. X. Gonze. Le Conseil de direction du CISM, composé des représentants de tous les utilisateurs et présidé par le Pr. D. Peeters, se réunit régulièrement pour définir les stratégies à moyen et long terme, préparer les éventuels projets et évaluer le fonctionnement de l'institut. Les procès-verbaux de ces réunions sont disponibles pour les membres de la communauté universitaire.

Le CISM entend poursuivre les missions précédemment dévolues au Comité de calcul intensif et au Comité de stockage de masse. Celles-ci sont détaillées dans les contrats de gestion (cahiers des charges pour le calcul intensif et le stockage de masse).

2. Matériel

En 2004, le CISM a fait porter ses effort sur l'intégration des outils de stockage de masse et de calcul intensif ainsi que sur la consolidation des outils existants. La préparation d'un achat important en 2005 s'est poursuivie (voir point 4.1. le projet FNRS).

Le service de stockage de masse met actuellement à  la disposition de l'ensemble de la communauté universitaire un espace en ligne de plusieurs Tera-Bytes (10 TB sur bandes et 10 TB sur disques). Ces espaces de stockage sont administrés depuis le début du projet de stockage de masse (Grand Projet Universitaire 01/1994) par la même équipe que celle qui s'occupe des outils du calcul intensif. Une grande part des données qui y sont déposées est générée par les utilisateurs du calcul intensif. Cette synergie a pu être poussée plus loin grâce à la création du CISM, par la mise en place de liens rapides privilégiés entre les serveurs de stockage et ceux de calcul. Deux nouveaux serveurs de stockage de masse sont venus compléter le système de stockage sur bandes déjà  présent. Il s'agit de systèmes de stockage sur disques offrant une grande sécurité par la redondance du dépôt sur deux sites distants. Un tableau récapitulatif est présenté en annexe A.

La consolidation des outils existants a été réalisée par le déclassement des serveurs plus anciens, qui n'étaient plus guère utilisés, l'installation d'un onduleur de grande puissance pour une partie des grappes de calcul, la mise en place d'un serveur d'accueil des sessions interactives de l'ordinateur «DECCI». Un tableau récapitulatif est présenté en annexe B ; les acquisitions de l'année 2004 y sont ajoutées à  la fin.

2.1. L'intégration du système de stockage de masse

Audébut de l'année 2004, le système de stockage de masse était constitué d'un serveur HP L2000 (backus.cism.ucl.ac.be) pilotant deux librairies de bandes:

• un robot HP 4853A qui comprend trois dérouleurs DLT 7000 pour cassettes magnétiques de type DLT IV. Chacune peut contenir jusque 70 GB en mode comprimé. La capacité maximale de ce robot est de 30 cassettes. L'usage de ce robot est réservé à  certains utilisateurs de l'unité ASTR.

• le robot SureStore comprend quatre dérouleurs pour cassettes magnétiques de type LTO. Chacune peut contenir jusque 200 GB en mode comprimé. La capacité de ce robot est de 60 cassettes.

Le serveur est également muni d'une zone tampon composée d'un ensemble de disques redondants (RAID) d'une capacité de 350 GB. Les utilisateurs déposent leurs fichiers par FTP sur cette zone tampon, et, de manière transparente, le logiciel DUXL-SM (de la société Legato) gère les migrations de ces données sur bandes et leur récupération éventuelle lorsque l'utilisateur lance une commande FTP GET.

En 2004, le système de stockage de masse a été étendu par l'adjonction de deux serveurs distants (situés aux bâtiments Pierre Curie et Pythagore), comportant chacun un espace disque sécurisé (RAID) de 4 TB.

Un seul serveur (diskus.cism.ucl.ac.be) est accessible directement par les utilisateurs pour le dépôt de leurs fichiers, via le protocole FTP. Les utilisateurs qui le souhaitent peuvent demander une copie automatique sur le deuxième système (replicus.cism.ucl.ac.be), ceci en vue de minimiser les risques de perte de données en cas de désastre sur un des deux sites.

En octobre 2004, une nouvelle armoire à  disques de 4 TB en RAID 5 à  été ajoutée au serveur primaire (diskus).

L'intérêt principal de cette configuration "disques" résulte de son temps de réaction très court par rapport aux bandes. Il est donc particulièrement indiqué pour les données nécessitant des relectures fréquentes, ou les données brutes, parfois abondantes, générées par les simulations s'exécutant sur les machines du calcul intensif, qui doivent ensuite être traitées et analysées.

Enfin, des cartes Gigabit ethernet ont été ajoutées à  certains serveurs de calcul afin de garantir une connexion rapide avec le serveur de stockage diskus.

2.2. Déclassement des serveurs plus anciens

Après 10 ans de service, l'Exemplar SPP1600 a été mis hors service. Sa conception originale et sa rareté lui a valu une place dans le musée de l'informatique de l'unité INGI.
Ses deux successeurs, Ekman et Taylor, en fonctionnement depuis juillet 1998, ont également été déclassés. Cela a permis de réaliser d'importantes économies en terme de dissipation thermique, dans la salle qui n'avait pas bien supporté les chaleurs de l'été 2003.

2.3. L'aménagement de l'infrastructure

Le 08/07/2004, un nouvel UPS Merlin Gerin de 10 KVA, disposant de batteries d'une durée de vie de 10 ans est venu remplacer au Pierre Curie, l'ancien onduleur protégeant les grappes de calcul Tux, Cox, Vortx mais également le système de stockage délocalisé «replicus».

Le 28/09/2004, un pare-feu (firewall) a été placé à  l'entrée du réseau réseau informatique du CISM pour protéger l'ensemble des machines des tentatives incessantes d'intrusion. Sont autorisés par défaut : l'accès par ssh à  l'ensemble des machines, à  partir du réseau UCL, ainsi que l'accès FTP à  diskus et backus, et ceci de nouveau à  partir du réseau UCL, y compris le VPN. Tous les autres accès sont bloqués.

Afin de soulager decci1 qui était à  la fois serveur de fichier, machine de calcul et front-end pour les sessions interactives, le développement et les tests des utilisateurs, un serveur "deccint.cism.ucl.ac.be" (Decci INTeractif ) (Alpha 264DP bi-ev67 666MHz/ 4GB RAM) a été installé.

3. Formations

En ce qui concerne la formation, le suivi personnalisé des nouveaux utilisateurs a été poursuivi, en complément de l'auto-information permise par le site Web. La salle de formation a continué de remplir son rôle.

Comme chaque année, au début du premier quadrimestre, période durant laquelle de nouveaux utilisateurs se présentent traditionnellement. des formations ont été dispensées. Celle-ci ont été étoffées et mises à  jour. De plus, une coopération avec le CETIC a permis de présenter deux formations auxquelles ont assisté des utilisateurs du CISM et aussi des membres du SGSI (SIPS et SIQU)

• 29/9 Introduction

• 6/10 Open MP

• 20/10 Message-Passing Interface (I)

• 27/10 Message-Passing Interface (II)

• 3/11 Stockage de masse (différence stock/diskus, automatisation, optimisation,...)

• 24/12 En collaboration avec le CETIC: notions de qualité logicielle, processus et bonnes pratiques

• 1/12 En collaboration avec le CETIC: Qualité logicielle, méthodes de mesure et de monitoring de la qualité.

4. Actions et contacts hors-UCL

4.1. Le projet Belgrid

Le projet Belgrid, démarré l'an passé, s'est poursuivi. Le FNRS a approuvé le projet de mise en place d'une infrastructure expérimentale d'ordinateurs répartis dans 5 universités (ULB, ULg, UCL, UMH, FUNDP). Un appel d'offre a été lancé. Le 01/05/2004, des premiers essais ont pu être réalisés lors d'un premier testbed de Globus entre une machine de FYNU, de l'Ulg et du CETIC qui ont pu communiquer via GridFTP.

4.2. Le projet FNRS

En réponse à  la demande du projet "Simulation numérique: applications en physique de l'état solide, océanographie physique et aérodynamique", dirigé par E. Deleersnijder, X. Gonze (promoteur principal/porte-parole) et G. Winckelmans, le Fonds de la Recherche Fondamentale Collective (FRFC, associé au FNRS) a décidé d'octroyer un montant de 450,000 Euros. Cette somme servira à  acheter de l'équipement de calcul intensif qui sera installé au CISM et sera géré selon les méthodes habituelles. Il est à  noter que cette infrastructure sera ouverte à  des utilisateurs de l'UCL et d'autres universités de la Communauté Française de Belgique.

L'avis de marché pour un appel d'offre restreint a été publié au bulletin des adjudications du moniteur belge à  la date du 31/12/2004. La demande porte sur un environnement multi-processeurs comportant, d'une part, un ou plusieurs noeuds SMP permettant un accès à  une mémoire partagée d'au moins 64 GB de mémoire RAM et, d'autre part, un nombre plus important de noeuds offrant une mémoire RAM partagée de 2 GB par processeur. Une connectique à  faible latence peut être demandée sur une partie du cluster. La puissance de calcul agrégée sera optimalisée et l'ensemble de l'équipement s'inscrira dans un budget de  500.000 Euros (TVA comprise). Le processus de sélection inclura des benchmarks qui devront être effectués par les candidats fournisseurs.

4.3. Coopération avec le CETIC

Le 11/10/2004, X. Gonze et A.Dangoisse (ADRE, contact UCL-CETIC) ont rencontré Pierre Guisset, directeur du CETIC.
Les trois points suivants ont été convenus:

• Le CETIC participe au programme de formation organisé par le CISM en présentant deux séances relatives à  la "Qualité logicielle", la première axée sur les bonnes pratiques (orientation processus), et la seconde sur les méthodes de mesure et de monitoring de la qualité (orientation produit, voir D-Side Dashboard). Ces formations sont données à  l'intention de la communauté des chercheurs liés au CISM.

• Le CETIC présentera les projets GRID dans lesquels il s'investit (HPC4U et CoreGRID): les objectifs, les technologies, les résultats attendus et les différents workpackages de ces projets (réunion à  l'intention de équipe de gestion, date à  convenir)

• Une collaboration et un échange d'expertise vont être instaurés entre les gestionnaires du CETIC et du CISM dans le déploiement et la gestion de Clusters.

4.4. Contact avec le CENAERO

4.5. L'inventaire des équipements de la communauté française pour le FNRS

Le directeur du CISM, à  la demande du FNRS, a coordonné la rédaction de l'inventaire des équipements de calcul intensif dans les institutions universitaires de la communauté française, les accès et la formations. Ce rapport a été remis au FNRS le 23/11/2004.
Le FNRS va mettre en place une commission de coordination des gros équipements.

Les constats qui sont ressortis lors des contacts entres les différents acteurs  de calcul intensif en communauté française (F.S.A.Gx, F.U.N.D.P., U.Lg, U.C.L., U.L.B., U.M.H) sont les suivants:

• La communauté scientifique a besoin dans sa recherche par simulation ou modélisation de phénomènes d’accéder à des moyens de calculs puissants qui dépassent largement la puissance délivrée par une ou des stations de travail locale, fussent-elles regroupées dans de petits clusters. Néanmoins ces stations de travail locales restent un outil indispensable au chercheur (pré-, post-processing, développement)
• Comparés aux équipements de calcul intensif présents dans des institutions universitaires étrangères, ceux présents en communauté française de Belgique ont une puissance assez petite. L’ensemble des équipements qui y sont présents est moins puissant –2900 GFlops- que ceux présents dans de nombreuses institutions universitaires étrangères. Ainsi, chez nos proches voisins on trouve : le centre de recherche de Jülich, près d’Aix-la-chapelle (8921 GFlops), l’université de Liverpool (5752 GFlops), etc ...
• Les chercheurs de la communauté française de Belgique ciblent leur recherche afin d’essayer de compenser ce manque de moyens.
• La nature des applications développées ou utilisées par les uns et les autres est très variée et ne permet pas de définir une « machine » unique qui satisferait les besoins de tous.
• La qualité du réseau est un élément déterminant pour certaines applications scientifiques. Alors que les besoins de communication entre machines locales sont généralement bien cernés, il n’en va pas de même pour les communications entre centres géographiquement délocalisés. En dehors du problème de bande passante, les aspects de sécurité et de confidentialité deviennent déterminants. Le développement des initiatives GRID qui semble aux yeux de tous promis à un avenir prometteur, s’inscrit dans cette logique.
• Le service rendu aux chercheurs est le plus apprécié lorsque les gestionnaires des moyens de calculs sont proches des utilisateurs, voire les utilisateurs eux-mêmes. Toutefois, la gestion des machines n’est pas la tâche première des chercheurs et il s’avère que le temps consacré à cette tâche est trop important lorsqu’ils sont amenés à gérer des machines locales.
• L’ouverture de l’accès aux ECI à des « extérieurs » pose lui aussi le problème de la confidentialité et de la sécurité, mais il convient d’y ajouter et le surcroît de travail demandés aux gestionnaires et la saturation des ressources constatées dans la plupart des ECI.
• Plusieurs centres de calcul intensif localisés à l’étranger semblent délivrer un service apprécié des chercheurs et sont cités en exemple (parmi ceux-ci l’IDRIS-France est mentionné). Des projets d’intercommunication à haut débit entre ces centres sont actuellement à l’étude et permettrait d’augmenter considérablement les puissances de calculs disponibles.

• Une coordination et même une synergie entre les ECI est souhaitable pour permettre un éventuel gain d’échelle et optimaliser les ressources disponibles. Il conviendrait toutefois de laisser un maximum d’initiative et d’autonomie aux utilisateurs des ressources : certaines entités ont acquis, selon les moyens financiers qui leur étaient disponibles, un équipement précisément adapté à leur besoin, qu’ils utilisent au maximum de ses possibilités, et dont l’ouverture ne dégagerait aucune ressource supplémentaire.
• Un besoin de personnel informatique de qualité est nécessaire pour organiser et gérer les ressources inter-ECI
• Une formation des (nouveaux) utilisateurs est nécessaire. Celle-ci n’est actuellement dispensée que dans peu de centres (CISM). L’utilisateur doit donc souvent se former par lui-même avec toute la perte de temps et d’énergie que cela implique. L’organisation de ces formations en interuniversitaire au sein de la CF est fortement souhaitée et recommandée.
• Les utilisateurs souhaitent disposer d’un lieu de rencontre pour échanger leurs expériences. Il s’agit d’une part de partager l’expérience des chercheurs, ce qui pourrait se faire par la création d’un groupe de contact FNRS. Et d’autre part, de partager l’expérience de gestion et d’utilisation des ECI. Une commission de gestion est sans doute plus appropriée à ce stade.

5. Publications de résultats ayant été obtenus grâce aux machines du calcul intensif.

Les publications peuvent être consultée en ligne depuis la  base de donnée.

6. Annexe A: tableau récapitulatif des différents serveurs de stockage de masse.

7. Annexe B: tableau récapitulatif des différents serveurs de calcul.

Total de 14 serveurs SMP, 6 grappes de calcul, disposant ensemble de 205 processeurs, de 198 GB de RAM et de 3.3 Tb d'espace disque, offrant une puissance théorique maximale de 263.93 Gflops