Rédigé par Bernard Van Renterghem et Thomas Keutgen (responsable)
version www disponible à l'adresse http://www.cism.ucl.ac.be/Administration/Rapports/rapport2008/index.html

Le présent rapport a pour but de fournir un résumé des activités de l'institut du Calcul Intensif et du Stockage de Masse (CISM) et de l'équipe qui en gère les équipements, pour l'année 2008. Le lecteur disposant de la version imprimée est invité à consulter la version électronique où les hyperliens donnent accès aux références de ce rapport. Il fait suite aux rapports annuels d'activités du CISM depuis 2004 et à ceux du Comité du Calcul Intensif (CCI) qui était en place avant l'existence du CISM. Les faits saillants de l'année 2008 y sont extraits d'une masse brute de procès-verbaux et de statistiques.

Pour rappel, l'équipe de gestion assure la maintenance quotidienne des équipements ainsi que le support aux utilisateurs, sous la responsabilité du Directeur du CISM. Le Conseil de direction du CISM, composé des représentants de tous les utilisateurs, de l'équipe de gestion et présidé par un académique nommé pour 4 ans, se réunit régulièrement pour définir les stratégies à moyen et long terme, préparer les éventuels projets et évaluer le fonctionnement de l'institut. Les procès-verbaux de ces réunions sont disponibles pour les membres de la communauté universitaire.

1. 2008 en bref

2008 a été l'année des grands bouleversements non seulement dans la structure même du CISM mais également pour son équipe de gestion. Dans le nouvel organigramme de l'Université, l'Institut est devenu une plate-forme technologique dont la direction sera assurée par un ingénieur de recherche et la présidence du conseil de direction, par un académique nommé pour quatre ans. L'équipe de gestion a également été remaniée avec le remplacement de deux de ses membres.
2008 a aussi été l'année de l'acquisition, en partenariat avec l'unité PCPM, d'une nouvelle machine Green composée de 816 coeurs de calcul, interconnectés en Gigabit Ethernet. Une attention particulière a été portée sur l'aspect "économie d'énergie" (électricité, dissipation de chaleur) lors du choix du matériel composant cette nouvelle infrastructure. Green a été inaugurée en octobre 2008 en même temps que la nouvelle salle TIER-2 qui l'héberge.
L'infrastructure "Lemaitre", mise en production en 2006, a été utilisée intensément en 2007 et en 2008. Sa fiabilité reste excellente et elle devrait être maintenue en activité jusqu'en 2011. Il est cependant prévu de renforcer progressivement sa capacité de calcul et de stockage pour permettre à ce cluster de rester compétitif durant les deux prochaines années.
En ce qui concerne les autres faits saillants de cette année 2008, nous noterons: l'augmentation de l'espace de stockage de masse (section 2.4) et le déclassement de serveurs plus anciens (section 2.5); la poursuite des formations pour les utilisateurs (section 4); l'implication du CISM dans le projet d'ouverture interuniversitaire des gros équipements de calcul intensif au niveau de la communauté française (section 5.3); sa coopération dans le déploiement d'un TIER-2 pour CMS (CERN) à l'UCL (section 5.1) et enfin, son implication dans divers projets du SGSI (section 5.2).
Soixante-huit publications ont bénéficié de l'apport essentiel des infrastructures CISM en 2008, voir annexe C.

2. Matériel et infrastructure

En fin d'année 2008, une nouvelle grappe de calcul a été déployée, à l'initiative de PCPM, ajoutant à l'infrastructure déjà en place 816 nouveaux coeurs de calcul. Ce qui représente, avec Lemaître et les ressources d'Ingrid (TIER-2 belge à l'UCL) ouvertes aux utilisateurs du CISM, une puissance théorique cumulée qui est passée en un an de 2 à 10.7 Tflops. Un tableau récapitulatif est présenté en annexe A.

Le service de stockage de masse mettait à la disposition de l'ensemble de la communauté universitaire un espace en ligne de plus de 46 terabytes (TB). En fin d'année 2008, 36TB supplémentaires ont été apportés par l'ajout d'un nouveau serveur, portant l'espace total disponible à 82TB. L'espace de stockage sur disque est réparti sur quatre serveurs: diskus (12,2TB), lmftp (23,9TB), lmstor (10,7TB) et Storage02 (36TB). Lmftp et lmstor font partie de l'infrastructure du projet FNRS2004 "Lemaitre". Un tableau récapitulatif est présenté en annexe B.

2.1. L'aquarium : la salle informatique B012 (PYTH02)

La salle "Aquarium" B012 (PYTH02) du Bâtiment Pythagore, née des besoins conjoints de  SGSI/SIPR et du CISM est un noeud vital de l'infrastructure informatique de l'UCL. Le système refroidissement par eau retenu par les services techniques de l'UCL est sûr et performant. L'alimentation électrique redondante (à partir de deux cabines de transformation) ainsi qu'un onduleur protègent efficacement une série d'équipements critiques. Fort de l'expérience acquise, GTPL a pu, en un an,  mettre en place une infrastructure semblable dans le bâtiment Marc de Hemptinne (voir point 5.1.3)

2.2. La grappe Lemaitre

Lemaitre est un outil puissant qui permet aux membres de l'UCL et à d'autres institutions (voir la coopération interuniversitaire) de réaliser de nombreux travaux scientifiques qui ne pourraient pas être entrepris sur une petite infrastructure. Lemaitre est constament chargé à plus de 83% et  l'arrivée en septembre  de Green, pourtant presque cinq fois plus puissant que Lemaitre, n'a pas provoqué une baisse de son occupation.

Jusqu'en février 2008, un StorEdge 6130 offrait l'espace disque des utilisateurs (home directories). Mais le débit maximal que peut fournir ce StorEdge 6130 plafonne à 80 MB/s en écriture, ce qui peut se révéler insuffisant.
Pour palier à ce problème, le CISM a acquis et a mis en place un SUN Galaxy X4500 équipé de 2 CPU AMD Opteron de 2.8GHz et de 16GB RAM ainsi que de 48 disques SATA de 500GB, offrant un espace /home de 6TB. Ce serveur supporte des vitesses de lecture/écriture jusqu'à 400 MB/s.

Lemaitre dispose de 128 bi-processeurs mais également d'une série de serveurs SMP qui, grâce à leur mémoire vive importante (32GB à 64GB), permettent  d'effectuer des simulations particulièrement gourmandes.
Pour renforcer Lemaitre et offrir de nouvelles possibilités aux utilisateurs, trois serveurs disposant de 128 GB de RAM chacun ont été intégrés à l'infrastructure, grâce à un financement de l'unité PCPM. Il s'agit de trois serveurs Transtec Calleo 530, équipés chacun de 4 dual AMD Opteron à 3GHz (soit 8 core) et de 128GB de RAM. Un paramètre particulier donné au système de gestion de batch Sun Grid Engine (SGE) oriente en cas de besoin les simulations vers ces machines (lmexec-143, 144 et 145).

Enfin, en novembre 2008, l'unité PAMO a acquis un second serveur de calcul, géré par l'institut CISM. Cauchy2 est venu renforcer Cauchy dans l'infrastructure de Lemaitre. Il s'agit d'un SUN Galaxy X2200 dual quad-core AMD Opteron à 2.3GHz équipé de 64GB de RAM.

2.3. La grappe Green

L'unité PCPM a disposé d'un financement ARC FRFC pour l'acquisition d'une infrastructure de calcul haute performance de type "grappe" avec une attention particulière à l'efficacité énergétique du système: Un appel d'offre européen a été lancé. Le critère d'attribution du marché (la procédure de "benchmark") a pris en compte tant la performance de calcul que la consommation électrique des équipements proposés. Parmi les contraintes, il fallait  notamment que le cluster tienne dans deux racks de 12kW chacun dans la salle TIER-2 au bâtiment de Hemptinne. Des différents constructeurs/intégrateurs, Clustervision a été retenu. La machine a été livrée en septembre, pour débuter par une période de tests intensifs (détection des barettes mémoires éventuellement défectueuses), par une phase de reproduction des benchmarks (un critère de réception), tant pour les performances de calcul que de la consommation électrique. Arrive ensuite un temps réservé au "béta-testeurs" qui peuvent ainsi se familiariser avec l'environnement et interagir avec les gestionnaires pour fixer les derniers ajustements (système batch, quota disques, gestion des comptes,...) avant l'ouverture à tous les utilisateurs du CISM.
L'inauguration officielle de Green et de la salle TIER-2 a eu lieu le 31 octobre, en présence des autorités de l'UCL.
Le matériel consiste en 6 Dell Blade M1000e équipés de 16 dual quad-core Xeon L5420 à 2.5GHz  par blade, dont la moitié dispose de 16GB RAM et l'autre moitié de 32GB RAM. Il faut encore ajouter 6 serveurs Dell équipés des mêmes processeurs et de 16GB RAM. Green dispose donc de 816 core, fournissant 8.16 Tflops de puissance théorique maximale, pour une consommation électrique ne dépassant pas 24 kW. Le système d'exploitation est un  Scientific Linux 5.2 + ClusterOS managment tools. Son  taux d'utilisation a rapidement été aussi important que celui de Lemaitre.

2.4. Les systèmes de stockage de masse

En 2008, trois serveurs  étaient diskus.cism.ucl.ac.be, storage.cism.ucl.ac.be (lmstor) et lms.cism.ucl.ac.be (lmftp). En fin d'année, un quatrième serveur "storage02.cism.ucl.ac.be" fournit 36TB supplémentaires

Les 82TB d'espace disque disponibles en ligne sont sécurisés: La configuration RAID des armoires tolère la panne de disques, remplaçables à chaud. De plus, la récupération en cas de désastre est assurée par la délocalisation des serveurs (diskus au Pierre Curie, storage et lms au Pythagore et storage02 au Marc de Hemptinne) et la mise en place d'un système de réplication des données (activé uniquement si l'utilisateur le souhaite).
Diskus ne changera plus dans sa configuration jusqu'à son déclassement. Il est situé au Pierre Curie (A128) afin d'offrir la double localisation avec lms ou storage02. Il offre une capacité nette de 12,2 TB. Sa technologie est plus ancienne (serveur datant de 2004, disques SCSI de 146 GB,...).
Storage pilote un StorEdge 3511 d'une capacité nette de 10.7 TB ( /stor3511 7.1TB et /mirror 3.6TB) utilisée directement dans l'infrastructure de calcul Lemaitre.
lms "Lemaitre stockage" dispose de 18 TB et enfin, le nouveau serveur Storage02 devrait permettre d'accueillir la quantité toujours plus importante des données déversées par les utilisateurs.

2.5. Déclassement des serveurs plus anciens

En octobre 2008, Les 16 derniers processeurs du cluster Tux ont été déclassés. La puissance de calcul de ces Alpha ev56-500MHz était négligeable face à celle de Lemaitre ou de Green. Pour la même raison, les 14 noeuds de VortX (Pentium4 2.4GHz) ont été arrêtés.

3. Le CISM, nouvelle plate-forme technologique

Jusqu'à aujourd'hui, l'Institut du Calcul Intensif et de Stockage de Masse a offert aux scientifiques de l'Université un service de qualité en mettant à leur disposition un outil de calcul et de stockage performant. Les utilisateurs se sont montrés satisfaits tant pour les service rendus par l'Institut que pour son système de gouvernance qui les intègre directement dans les décisions prises. Le concept de « gestion avec les utilisateurs, pour les utilisateurs » est à l'origine du succès du CISM.

Cette année, afin de maintenir ce service de qualité tout en nous adaptant aux nouvelles structures qui se mettent en place à l'UCL, nous avons proposé aux autorités, avec le soutien des chefs des unités concernées par le CISM, de convertir notre Institut en plate-forme technologique. Cette transformation structurelle n'a pas pour but de modifier fondamentalement les principes de fonctionnement du CISM – qui ont fait leurs preuves par le passé – mais impliquera certaines modifications dans sa gestion. Ces questions ont été discutées en détail dans la demande acceptée par les autorités. Nous en rappelons ici quelques points importants.

L'organe principale de décision reste le Conseil de Direction du CISM (CD-CISM). Le conseil assure la juste répartition des ressources entre utilisateurs et définit les stratégies du CISM à moyen et long terme. Il est à noter qu'un nouveau président, Hugues Goosse (ASTR), vient d'être nommé pour les deux prochaines années. Le conseil est donc constitué de:

• Le président du conseil de direction, académique nommé pour deux ans.
• Un représentant par unité « grande utilisatrice », à savoir, toute unité ayant remis un projet (accepté par le CD-CISM) nécessitant l'utilisation intense des ressources du CISM.
• Un représentant des « petits utilisateurs »
• Les membres de l'équipe de gestion, y compris le directeur du CISM.
• Un représentant du SGSI (encore à définir).

Au vu de l'évolution de la structure de l'UCL, la représentation des unités « grande utilisatrice » sera progressivement remplacée par une représentation des nouvelles entités menant leur recherche grâce aux services du CISM.

L'équipe de gestion met en oeuvre les décisions prises par le conseil, assure la gestion quotidienne des infrastructures et le support aux utilisateurs. Elle est constituée de trois informaticiens à temps plein et un directeur qui, dans le cadre de la nouvelle plate-forme technologique, ne sera plus choisi parmi les académiques de l'Université mais un ingénieur de recherche. Dans ce cadre, la constitution de l'équipe de gestion a été fortement modifiée. Nous avons enregistré les départs de Jean-Michel Beuken et Jean-Paul Minet, le passage à temps plein de Luc Sindic, l'engagement de Fabrice Charlier et le remplacement de Xavier Gonze par Thomas Keutgen au poste de directeur.

Globalement, notre gestion des ressources et la transparence de nos rapports avec les utilisateurs sont appréciées. Il est donc dans l'intérêt de chacun, de maintenir ce mode de fonctionnement dans la nouvelle plate-forme.

4. Formations

Comme les années précédentes, la formation et le suivi personnalisé des nouveaux utilisateurs ont été poursuivis, en complément de l'auto-information permise par le site Web. Cette année, l'ouverture interuniversitaire apportée par David Colignon, le collaborateur logistique du F.R.S.-FNRS CECI - Consortium des Equipements de Calcul Intensif, s'est notamment concrétisée lors de ces formations: D. Colignon a donné deux formations(MPI) sur les huit aux 23 chercheurs inscrits, dont 4 ULG et 3 FUNDP.
 La salle de formation a continué de remplir son rôle: l'équipe du CISM a dispensé une série de  séances pratiques (d'octobre à décembre 2008)

• Introduction au calcul intensif. L'objectif de cette séance est de permettre aux personnes qui approchent pour la première fois le calcul intensif d'appréhender les concepts de base (grappes, machines SMP, mémoire cache, compilation, librairies optimisées, OpenMP, MPI) et de découvrir les équipements disponibles et l'organisation du service (enregistrement, aide, coût,...)
• introduction à UNIX/LINUX (orientée calcul intensif : commandes de bases, gestion des fichiers, pipes et redirections,  scripting shell,...)
• utiliser efficacement les outils du CISM : les différents serveurs, le système batch (PBS, SGE : règles, scripts, contrôle),la gestion de l'espace disque, le stockage, les accès (ssh, putty,...)
• MPI  (Message Passing Interface): deux séances pratiques données cette année par D. Colignon (F.R.S.-FNRS CECI)
• la compilation:  les librairies, les différentes options, le debug, le profiling de code.

La séance d'introduction à UNIX/Linux a également été dispensée dans le cadre du cours MAPR2451, en février 2008.

5. Actions et contacts hors-CISM

5.1. Le GRID à l'UCL

La coopération FYNU-CISM

Le projet TIER-2 belge a été accepté au début 2006 et consiste à se doter des moyens nécessaires à l’acquisition et au fonctionnement d’un noeud de calcul destiné à être intégré dans la grille mondiale de calcul WLCG (Worldwide LHC Computing Grid), pour le stockage et l’analyse de données des expériences auprès du Large Hadron Collider du CERN. Le TIER-2 belge est constitué de deux sites séparés, l’un à l’UCL et l’autre à l’Institut Interuniversitaire des Hautes Energies IIHE de l’ULB/VUB.
L'accord de partenariat établi en 2006 entre l'unité FYNU et le CISM s'est poursuivi.
Le CISM a participé à l'étude des problèmes suivants : le dimensionnement de la nouvelle salle TIER-2 et la surveillance du système en régime. L'installation TIER-2  baptisée "Ingrid" est ouverte aux utilisateurs du CISM, à concurrence d'environ 10% de la puissance totale, soit environ 478 Gflops actuellement.

Le projet de "Gridification" des logiciels Abinit et Octopus

Désirant profiter de l'expérience de FYNU dans le GRID, l'unité PCPM a engagé Michaël Oliveira pour trois mois avec, comme objectif, la portabilité des logiciels ABINIT et OCTOPUS sur la grille.
La première étape était de s'intégrer dans une « Virtual Organisation » (VO). Un accès temporaire a donc été demandé auprès de BeGrid qui a défini une VO test pour ce type de requête. Nos tests ont donc pu commencer. Fabrice Charlier qui partageait en 2008 ses activités entre FYNU et le CISM, était la bonne personne pour aider PCPM dans son objectif. Après trois mois de travail, l'objectif était atteint et ces logiciels tournaient sur la Grille.
L'étape suivante pour le CISM, en collaboration et de façon coordonnée avec le CÉCI (voir plus bas), est de s'investir davantage dans la grille et partager une partie de nos ressources avec elle. Pour ce faire, une installation locale est nécessaire. Différents serveurs doivent être configurés pour s'intégrer à BeGrid. Huit machines SUN V20Z ont été offertes par le FUNDP et seront utilisées à cette fin.
Cette installation locale devrait nous permettre de soumettre des jobs sur la grille à partir d'un frontend à l'UCL et, plus tard, nous associer à d'autres VO, aux objectifs plus scientifiques.

La nouvelle salle informatique TIER-2 au Marc de Hemptinne

Les prévisions de croissance de l'infrastructure TIER-2 à l'UCL rendent le déploiement d'une nouvelle salle informatique indispensable. Dans le cadre de l'accord de partenariat avec l'unité FYNU et fort de l'expérience acquise avec  GTPL lors de l'installation de "l'Aquarium", le CISM a participé à la conception d'une nouvelle salle. SIPR est un membre du projet, et bénéficiera ainsi d'une deuxième salle des machines (double localisation de serveurs critiques).
Cette nouvelle salle a été construite dans le bâtiment Marc de Hemptinne et est opérationnelle depuis mai 2008. Pour une puissance totale de refroidissement de 160 kW, 16 racks ont été partagés entre FYNU (10), SIPR(4) et le CISM(2). Les deux racks, occupés par le CISM, hébergent le nouveau cluster Green et les 36TB de stockage Storage02.

Une demande est en cours auprès du SRI pour augmenter à 1 Gb/s la bande passante entre nos installations de l'Aquarium et de la salle TIER-2 et ainsi, permettre un accès plus rapide à notre nouvel espace de stockage.

5.2. L'implication des informaticiens CISM dans le SGSI

Les membres de l'équipe de gestion sont également membres associés du SGSI. Ils suivent avec attention et se conforment aux décisions prises par les autorités en terme d'orientation du Système de l'Information. Ils s'impliquent activement dans des projets et assistances rapprochées, où leurs domaines d'expertise peuvent être utiles (configuration de serveurs, gestion de grosse quantité de données,...). Les contacts humains et les échanges d'idées sont nombreux dans les salles partagées (notamment Aquarium et TIER-2).

5.3. Projet d'ouverture interuniversitaire des installations de calcul intensif de la communauté française.

Le CÉCI - Consortium des Équipements de Calcul Intensif - a été mis sur pied suite à la décision du F.R.S.-FNRS de soutenir le projet "Ouverture interuniversitaire des gros équipements de calcul intensif en Communauté française: accès, formation, information, technologie Grid, inventaire et synchronisation des ressources matérielles et logicielles", en permettant l'engagement d'un logisticien, le Dr. David Colignon, en mars 2008.
Le comité de coordination, comportant des représentants de chacun des gros équipements du CÉCI, s’est réuni dès 2007 pour mettre en place un bureau dont la mission est de piloter les actions du logisticien. Ce bureau s’est réuni les 28/02 à l'ULg, 20/03 à l'UMH, 16/05 à l'UCL, 03/07 à l'ULB, 22/08 aux FUNDP et a conversé par téléconférences les 02/09, 02/10 et 13/11.
Afin d’encadrer les échanges scientifiques, un groupe de contact « Calcul Intensif » FNRS a été créé dès juillet 2008. B. Champagne (FUNDP) en est le président et D. Colignon le secrétaire. Une première réunion de ce groupe de contact a eu lieu le 21 octobre 2008 aux FUNDP.
Les objectifs du Consortium sont multiples et incluent, de façon non exhaustive:

Dans ce contexte, D. Colignon a mis en place un espace d'échanges entre les administrateurs des différents sites concernés par ce projet. Deux réunions ont déjà eu lieu en 2008 où l'expérience de chacun a pu être partagée et des points plus techniques discutés.
Après 10 mois d'activité, ces objectifs initiaux sont toujours d'actualité, certains points ont déjà bien progressé, tandis que d'autres points qui n'avaient pas été pressentis sont apparus.
Pour plus de détails, nous vous invitons à visiter le site: « http://hpc.montefiore.ulg.ac.be ».

6. 2008 et au delà...

D'autre part, motivés par les besoins croissant de ASTR, nous avons acquis 36 TB d'espace de stockage supplémentaire. Cet espace permettra à cette unité de presque doubler leur quota d'utilisation du stockage de masse. Leur contribution augmentera donc en conséquence.

En ce qui concerne le développement de nos activités, les résultats encourageants des tests de « gridification » d'Abinit et d'Octopus nous ont poussé à nous investir davantage dans la configuration d'un CE (Computing Element), interface GRID entre nos installations et l'extérieur, et la mise à disposition de ressources de calcul sur la grille. Cette démarche se fera de façon coordonnée avec le CÉCI.
En plus des 8 machines offertes par le FUNDP, il est nécessaire de prévoir un espace « home » pour les utilisateurs locaux. Pour des raisons évidentes de sécurité, il est important de maintenir cet espace isolé du reste de nos installations (Lemaitre, Green ...). Dans un premier temps et afin de tester le bon fonctionnement de ce nouvel outil, un desktop comprenant 1TB d'espace disque a été acheté dans ce but. Si nos tests s'avèrent positifs, l'achat de matériel plus performant pourrait être envisagé.

Du point de vue des membres de l'équipe de gestion et de l'insertion dans la structure de l'université, des changements importants ont eu lieu en 2008 (voir section 3).
La nouvelle équipe est aujourd'hui composée des personnes suivantes:

• Luc Sindic
• Bernard Van Renterghem
• Fabrice Charlier
• Thomas Keutgen (Directeur)

représentant 3.5 ETP CISM et 0.5 ETP de prestation de service à d'autres entités de l'université.
Par souci de communication et d'efficacité dans leur travail, l'équipe a décidé de se rapprocher géographiquement. On peut rappeler qu'aujourd'hui, les membres de l'équipe sont dispersés dans trois bâtiments différents et distants l'un de l'autre. Nous avons donc contacté le CEIU pour obtenir des bureaux dans le même bâtiment. Cette procédure suit son cours et nous espérons aboutir rapidement.

Il reste à mentionner le souci que l'on peut se faire pour notre développement à venir. En effet, tout l'espace qui nous est alloué est occupé et ne nous permet plus d'évoluer (ni en volume , ni en terme de puissance électrique). Des contacts ont donc été pris pour étudier la possibilité de renforcer la dalle de l'aquarium pour utiliser ces infrastructures au maximum de leur capacité. D'autres pistes ont également été envisagées telles que le renforcement des installations du Pyth03 pour augmenter de manière significative sa puissance de refroidissement.

Annexe A: tableau récapitulatif des différents serveurs de calcul.

Par rapport à 2007, l'offre de puissance a été multipliée par 5(!): le CISM gère un total de 5 infrastructures différentes, disposant ensemble de 1226 coeurs, de 3880 GB de RAM et de 34 TB d'espace disque, offrant une puissance théorique maximale d'un peu plus de 10,6 Tflops.

Annexe B: tableau récapitulatif des différents serveurs de stockage de masse.

Annexe C: Publications de résultats ayant été obtenus grâce aux machines du calcul intensif.

Les publications peuvent être consultées en ligne depuis la  base de donnée.