+
|
Rapport d'activité 2013 de la plate-forme technologique CISM
|
![]() |
Rédigé par
Damien François, Luc Sindic, Bernard Van Renterghem et Thomas
Keutgen (responsable)
version www disponible à l'adresse http://www.cism.ucl.ac.be/Administration/Rapports/rapport2013/index.html
Le CISM en quelques mots...Le CISM est une
plateforme technologique rattachée au Secteur des
Sciences et Technologies (SST).
qui
fournit
aux
chercheurs
de
l'Université
un
service
de
calcul
intensif
et de stockage de masse. Son rôle est de fournir aux
chercheurs de l'Université des solutions de calcul
intensif sur de puissants systèmes informatiques et des
solutions de stockage sûr et sécurisé de grandes masses
de données.. Un outil indispensable à la recherche
Bien que les
ordinateurs de bureau soient de plus en plus puissants,
les besoins en calcul et en stockage de données des
chercheurs augmentent de manière bien plus grande
encore, que ce soit pour de la simulation numérique, de
l'optimisation, de la modélisation, etc. En 2013,
l'ensemble des infrastructures gérées par le CISM ont
permis à 253 utilisateurs réguliers, dont 166 de l'UCL,
de générer l'équivalent de plus de 21 million d'heures
de calcul informatique, et de stocker et/ou partager
plus de 170 TB de données (l'équivalent de 42000 DVD).
Cette activité a conduit à la parution d'un peu plus de
80 publications scientifiques. Une expertise reconnueLe CISM regroupe
quatre gestionnaires spécialisés entretenant un
savoir-faire de pointe en calcul scientifique et en
gestion de parc informatique. Cette expertise est
reconnue au sein des services de l'Université où le CISM
intervient dans les projets de plusieurs entités:
hébergement de machines de calcul statistique pour SMCS,
étude d'une nouvelle salle machine avec SIPR, etc. Cette
expertise est également reconnue au sein de la
Fédération Wallonie-Bruxelles (FWB): les formations
organisées par l'équipe du CISM ont attiré en 2013 plus
de 55 chercheurs issus de chacune des universités
wallonnes et bruxelloises. 2013, l'année
de démarrage de nouveaux projets
|
Secteurs |
|
Instituts |
|
Pôles |
|
SST |
99.29% |
CISM |
0.01% |
PAN |
0.01% |
ELI |
13.59% |
ELIC |
12.95% |
||
ELIB |
0.03% |
||||
ELIM |
0.02% |
||||
ELIA |
0.00% |
||||
ELIE |
0.59% |
||||
IMCN |
67.76% |
MOST |
0.60% |
||
NAPS |
64.12% |
||||
BSMA |
3.04% |
||||
ICTM |
2.80% |
ELEN |
2.14% |
||
INGI |
0.46% |
||||
INMA |
0.20% |
||||
IMMC |
14.93% |
IMAP |
0.08% |
||
MEMA |
8.70% |
||||
TFL |
5.70% |
||||
GCE |
0.45% |
||||
IRMP |
0.00% |
CP3 |
0.00% |
||
LOCI |
0.20% |
LOCI |
0.20% |
||
SSH |
0.06% |
TALN |
0,00% |
TALN |
0,00% |
IMMAQ |
0.01% |
IRES |
0.01% |
||
SMCS |
0.00% |
||||
IACSSHOS |
0.05% |
IACS |
0.05% |
||
LSM |
0.00% |
LSM |
0.00% |
||
SSS |
0.53% |
IREC |
0.53% |
MIRO |
0.53% |
DDUV |
0.00% |
GEHU |
0.00% |
||
EXT |
0.10% |
CECI |
0.00% |
CECI |
0.00% |
VUB |
0.10% |
VUB |
0.10% |
||
|
|
|
|
|
|
Totaux |
100,00% |
|
100,00% |
|
100.00% |
Tableau 1:
Répartitions des utilisateurs de calcul intensif par Secteurs, par
Instituts et par Pôles de recherche. Cette répartition a été
calculée sur base de l'utilisation en temps calcul équivalent
(temps CPU) des grappes MANNEBACK, GREEN, HMEM, LEMAITRE2 et des
autres clusters du CÉCI auxquels nos utilisateurs ont accès. Les
utilisateurs des autres universités membres du CÉCI ne sont pas
pris en considération dans ce tableau.
![]() |
Figure 1: Evolution de la puissance
théorique de calcul au CISM depuis 2006. |
![]() |
Figure 2: Evolution de
l'espace de stockage disponible au CISM depuis 2006 |
|
![]() |
![]() |
Figure
3: Taux d'utilisation mensuelle de
MANNEBACK. |
Figure
4: Répartition par pôle pour MANNEBACK. |
|
![]() |
![]() |
Figure 5: Taux
d'utilisation mensuelle de GREEN. |
Figure 6:
Répartition par pôle pour GREEN. |
|
![]() |
Figure 7: Taux
d'utilisation mensuelle de la grappe HMEM |
![]() |
Figure 8: Distribution
des utilisateurs par université. |
|
![]() |
Figure 9: Taux d'utilisation mensuelle de la
grappe LEMAITRE2 |
![]() |
Figure 10: Distribution des utilisateurs par
université |
![]() |
Figure
11: utilisation de SMCS1. |
![]() |
Figure
12:utilisation de SMCS2. |
|
Figure 13:utilisation de LM9. |
![]() |
![]() |
Figure 14 : Répartition
des utilisateurs par secteurs. |
Figure 15: Répartition
des utilisateurs par instituts. |
![]() |
![]() |
Figure 16: Répartition
des utilisateurs par pôles de recherche. |
Figure
17: Répartition de l'espace de stockage utilisé depuis 2008. |
![]() |
Figure 18: Nombre d'intervention par type de solution. |
![]() |
Figure 19: Nombre d'interventions par système |
![]() |
Figure
20: Répartition des demandes en fonction des systèmes
gérés par le CISM |
![]() |
Figure 21: Thèmes abordés par les formations CISM, organisés en piles de pré-requis. A noter que les formations 'Matlab', 'Fortran or C', et 'Python' ne sont pas assurées par le CISM |
![]() |
Figure 22: Vue de la salle de
formation. |
![]() |
Figure 23: Répartition des participants par
université. |
Après l'installation d'infrastructures de calcul sur les cinq sites compris dans l'environnement CÉCI, l'étape suivante, pour permettre un partage efficace de ces ressources en FWB, est d'assurer une connexion réseau inter-sites efficace et permettre ainsi à chaque utilisateur de rapatrier ses données produites dans de bonnes conditions. Le raccordement des cinq sites CÉCI en 10 GbE, une technologie dix fois plus rapide que le raccordement actuel en GbE, semble donc naturel si nous voulons augmenter la bande passante des transferts inter-sites.
![]() |
Figure 24: Comparaison des performances
de transferts (en Gb/s) effectués sur des réseaux GbE,
IB et 10GbE |
Sur chaque cluster du CISM, la gestion des ressources et des jobs est organisées par le logiciel Slurm. Il a été choisi en 2010 lors de l'installation de HMEM, pour remplacer SGE qui était jusqu'alors installé sur les clusters à l'UCL.
En 2013, le CISM a acquis un Xeon Phi. Il s'agit d'une technologie matérielle apparue cette année, se présentant sous la forme d'une carte d'extension venant s'insérer dans le châssis d'un ordinateur pour en améliorer les performances (accélérateur). Le Xeon Phi est vendu par Intel dans le but de concurrencer les fabricants de cartes graphiques (GPU) destinées au calcul scientifique, un autre type d'accélérateur. Le CISM possède déjà plusieurs de ces cartes graphiques.
GREEN sera arrêté dans un an. Le ClusterOS management Tools, ne sera plus utilisé. Cet outil a évolué en « Bright Cluster Manager » et est mis en place pour les grappes CÉCI VEGA à l'ULB et NIC4 à l'ULg.
- GREEN, installé en 2008, sous ClusterVision OS (basé sur CentOS), dispose de son propre outil de déploiement appelé ClusterOS management Tools.
- MANNEBACK, HMEM et Lélève ont été installés à l'aide d'un système développé par l'équipe de gestion, dans lequel les nœuds de travail n'ont pas de disque local réservé au système d'exploitation (système NFSroot)
- LEMAITRE2, installé par la firme HP, possède un outil propriétaire, HP Insight Cluster Management Utility (Insight CMU)
- Installation RAM-root, NFS-root ou locale
- Prise d'une image à un instant donné (cloning)
- Peut gérer de très grandes grappes (déploiement et gestion hiérarchiques)
- découverte automatique à l'allumage des noeuds
- IPMI x86_64, quel que soit le constructeur : console distante et shell distribué
- Outils de monitoring intégrés : SNMP, RMC, Ganglia.
- Installation automatique de paquets RPMs lors du déploiement ou lorsque le nœuds est configuré et opérationnel.
![]() |
Figure 25: Evolution de la puissance
théorique de calcul depuis 2008 en tenant compte des
installations CÉCI. |
![]() |
Figure 26: Évolution du nombre
d'utilisateurs actifs appartenant à l'UCL (en bleu) et
aux autres universités du CÉCI (en rouge). |
![]() |
Figure 27: Evolution du temps
d'utilisation des CPU par les utilisateurs de l'UCL (en
bleu) et des autres universités du CÉCI (en rouge). |
La gestion centralisée des comptes CÉCI passe par un serveur
principal auprès duquel les nouveaux comptes sont enregistrés.
Ces nouveaux comptes sont propagés par la suite à tous les
clusters du CÉCI, où une procédure automatique 'installe' ces
nouveaux utilisateurs : création de leur répertoire home,
installation de leur clé d'accès, mise en place des quotas,
enregistrement dans la base d'utilisateurs du logiciel de
gestion de jobs (Slurm), etc. Cette procédure automatique est
implémentée par un programme appelé Slufl qui tourne sur les
machines de tête de chaque cluster CÉCI.
Ce programme Slufl a été développé au sein du CISM. Il a
initialement été créé pour HMEM, et une version plus élaborée
a été développée lors de l'installation de LEMAITRE2. Cette
version, modulaire, résistante aux erreurs (fault tolerant),
et bien sécurisée, a été proprement packagée (package RPM,
fichier de configuration, scripts de démarrage/arrêt, etc.) et
distribuée aux autres universités membres du CÉCI.
Slufl est actuellement installé et utilisé sur tous les
clusters du CÉCI.
Cette année, une nouvelle version a été conçue pour améliorer
encore son extensibilité. Cette version compte environ 700
lignes de code Python, basées uniquement sur les librairies de
base, et prend en charge, si besoin à distances (à travers
SSH), et en mode interactif ou 'daemon', toutes les actions de
mise en place des nouveaux comptes utilisateurs.
Le questionnaire proposait également un champ permettant les commentaires libres. L'enquête était anonyme mais des informations concernant l'institution et le thème de recherche des répondants étaient demandées.
- Comment connaissez-vous le CÉCI ?
- Quelles difficultés avez-vous rencontré lors de la création de votre compte ?
- Quels sont vos besoins en matériel, en logiciel ?
- Quelles sont les caractéristiques d'un job typique ?
![]() |
Figure A1.1: Banc de test Leleve |
FS |
FS Mount |
Transfert Tools |
Fault tolerance |
File recovery |
Duplication |
WAN |
NFS-FUSE |
✔ |
✗ |
✗ |
✔ |
✗ |
✗ |
XRootD |
✔ |
✔ |
✔ |
✔ |
✗ |
✔ |
FHGFS |
✔ |
✗ |
✔ |
✗ |
✔ |
✗ |
SECTOR |
✔ |
✔ |
✔ |
✔ |
✔ |
✔ |
Hadoop |
✗ |
✔ |
✔ |
✗ |
✔ |
✔ |
GridFTP |
✗ |
✔ |
✗ |
✔ |
✗ |
✔ |
![]() |
Figure A.1.2: Résultats en écriture via les outils de transfert proposés par le système de fichier. |
![]() |
Figure A.1.3: Résultats en lecture via les outils de transfert proposés par le système de fichier. |
![]() |
Figure A.1.4: Résultats en lecture sur le système de fichier monté directement par le système d'exploitation. |
![]() |
![]() |
Figure A.2.1: Catégories des différents
noms liés aux accélérateurs, avec à gauche la famille
Xeon Phi et à droite la famille Tesla |
|
Xeon E5-2690 |
Xeon Phi 5110P |
Tesla K20X |
Nombre de coeurs |
8 |
60 |
2688 |
Puissance (Watts) |
135 |
230 |
230 |
Bande passante mémoire (GB/s) |
80 |
320 |
250 |
Puissance de calcul (DP GFlops) |
185 |
1011 |
1320 |
Nombre de transistors par coeur |
280Million |
80Million |
2.5Million |
![]() |
Figure A.2.2: Dessin des puces
électroniques pour un processeur classique (haut),
un Xeon Phi (gauche) et un Tesla (droite) |
|
Fréquence |
Nombre de coeurs |
Nombre d'opérations par cycle |
Puissance théorique |
Xeon Sandy Bridge E5-2690 |
2.9GHz |
8 |
8 |
185,5GFlops |
Tesla K20X |
732MHz |
2688 (SP) 896 (DP) |
2 |
3935GFlops (SP) 1311GFlops (DP) |
XeonPhi 5510P |
1.053GHz |
60 |
16 |
1011GFlops |
![]() |
Figure A.2.3: Code naïf de
multiplication matricielle sur le CPU (à gauche)
et GPU (à droite) |
![]() |
Figure A.2.4: Code naïf de
multiplication matricielle sur le CPU (à gauche) et
Xeon Phi (à droite) |
![]() |
Figure A.2.5: Temps calcul pour
l'addition de deux matrices en fonction de la
taille, avec GPU (en vert) et sans (en noir). |
![]() |
Figure A.2.6: Temps calcul pour la
multiplication de deux matrices en fonction de la
taille, avec GPU (vert) et sans (noir). |
![]() |
Figure A.2.8: Nombre
d'opérations par secondes sur un GPU pour la
multiplication de deux matrices en fonction de
la taille, avec les "shared mémory" (ligne
discontinue) et sans (ligne continue). |
![]() |
Figure A.2.9: Nombre
d'opérations par secondes sur un Xeon Phi pour
la multiplication de deux matrices en fonction
de la taille, avec les "shared mémory" (ligne
discontinue) et sans (ligne continue). |
![]() |
Figure A.2.10: Nombre
d'opérations par secondes sur un Xeon Phi
pour la multiplication de deux matrices avec
Octaves en utilisant les bibliothèques
optimisées pour GPU (cublas) et Xeon Phi
(MKL). |
Type |
# noeuds |
# core / noeud |
# core |
GFlops tot (peak) |
RAM/ noeud (GB) |
Espace disque |
architecture |
Mise en service |
Grappe GREEN (NAPS) |
||||||||
GREEN Front-end |
1 |
8 |
8 |
80 |
32 |
273GB (/fast) |
Dell PowerEdge 1950 |
09/08 |
storage01 Fileserver |
1 |
8 |
8 |
80 |
64 |
11TB (/home) |
Dell PowerEdge 1950 |
09/08 |
GREEN Working nodes |
96 |
8 |
768 |
7680 |
38 à 16 , 58 à 32 |
48GB *96 ( /scratch) |
Dual Quad-Core Xeon L5420/ 2.5GHz in Dell Blade M1000e |
09/08 |
Node 097 to 102 (déclassés 07/13) |
6 |
8 |
48 |
480 |
16 |
|
Dell PowerEdge 1950 |
09/08 -> 07/13 |
Grappe MANNEBACK |
||||||||
MANNEBACK Front-end |
1 |
16 |
16 |
256 |
64 |
19TB (/home) + 2.5TB (/workdir) |
2x8 core Intel E5-2660 2.2GHz |
01/13 |
mback07 |
1 |
8 |
8 |
85.4 (GPU: 78) |
24 |
1TB |
1 SuperMicro 2 Quad-Core Intel Xeon X5550/ 2.67GHz |
02/10 mback 07/12 |
mback08-19 (ELIC) |
12 |
8 |
96 |
872 |
24 |
16TB |
12 HP Proliant 2 Quad-Core Intel Xeon L5520/ 2.27GHz |
10/09 mback 07/12 |
mback20-35 |
16 |
8 |
128 |
1280 |
16 |
3TB (/scratch) |
16 HP Blade Dual Quad-Core Xeon L5420/ 2.5GHz |
01/10 mback 07/12 |
mback40 |
1 |
16 |
16 |
256 (GPU 2x666, XP 1200) |
64 |
120GB (sda) |
Xeon E5-2650 +2 nVidia M2090 + 1 Xeon Phi 5110P |
01/13 |
mback101-121 (INDUS NAPS) |
21 |
16 |
336 |
5376 |
64 |
500GB (/scratch) |
Xeon E5-2650 2GHz |
07/13 |
mback151-156 (OBAN NAPS) |
6 |
32 |
192 |
1766 |
128 |
500GB (/scratch) |
AMD Opt 6276/2.3 GHz |
09/13 |
mback158-159 (OBAN NAPS) |
2 |
32 |
64 |
1024 |
256 |
500GB (/scratch) |
Xeon E5-4640/2.4GHz |
09/13 |
Grappe HMEM |
||||||||
HMEM Frontend |
1 |
12 |
12 |
125 |
64 |
11TB |
1 Dell PE R515 2 AMD Opteron 4180/2.6GHz |
12/10 |
HMEM 01-16 working nodes |
16 |
48 |
768 |
6758 |
2 à 512 7 à 256 7 à 128 |
26TB |
14 Dell PE R815 4 AMD Opteron 6174/2.2GHz |
12/10 |
HMEM17 (ELIC) |
1 |
48 |
48 |
422 |
128 |
800 |
1 HP DL585 4 AMD Opteron 6174/2.2GHz |
02/11 |
HMEM18-20 (NAPS) |
3 |
8 |
24 |
144 |
128 |
1TB |
3 Transtec Calleo530 4 Dual Core AMD Opteron 8222SE/ 3GHz |
10/08 HMEM 01/12 |
Grappe LEMAITRE2 |
||||||||
LEMAITRE2 Frontend |
2 |
12 |
24 |
243 |
64 |
27TB |
2 HP DL380 2 Xeon X5649 / 2.53GHz |
01/12 |
LEMAITRE2 working node |
112 |
12 |
1344 |
13601 |
48 |
120TB |
112 HP DL380 2 Xeon X5649 / 2.53GHz |
01/12 |
LmPp001-003 |
3 |
12 |
36 |
364 |
48 |
500GB (sda) |
2 HP DL380 2 Xeon X5649 / 2.53GHz + nVidia Q4000 |
01/12 |
Serveurs spécifiques |
||||||||
Lm9 (INMA) |
1 |
12 |
12 |
141 |
144 |
8TB |
1 HP DL180 2 Intel(R) Xeon(R) CPU X5670/ 2.93GHz |
01/11 |
SMCS1- SMCS2 (SMCS) |
2 |
12 |
24 |
295 (+GPU2090) |
96 |
1,8TB |
2 HP DL170e 2 Intel(R) Xeon(R) CPU X5675/ 3.07GHz |
10/11 |
Le CISM offre un espace de
stockage en ligne de 310TB, réparti principalement sur 4
serveurs: storage02, storage03, storage04 et storage05.
Nom |
type de serveur |
type de stockage |
Espace (GB) |
Mis en service |
---|---|---|---|---|
Storage02 | SUN Galaxy X4540 2 Quad core AMD
Opteron 2.3GHz 32GB RAM |
48 SATA 1TB, 36TB net |
36TB (/storage) | 12/08 |
Storage03 | Transtec Calleà 344 2
Quad-core Xeon E5506@2.13GHz 24GB RAM |
30 SATA 2TB, 2 SSD 64GB
(cache zfs), 42TB net |
42TB (/storage) |
05/10 |
Storage04 |
Supermicro CSE-847E16-R1400UB
Six-core Xeon E5645@2.4 GHz 36GB RAM |
34 SATA 3TB, 72TB net |
64TB (/storage) |
05/11 |
Storage05 |
Supermicro CSE-847E16-R1400UB
Six-core Xeon E5645@2.4 GHz 36GB RAM |
34 SATA 3TB, 72TB net |
64TB
(/storint) +90TB (/storext) |
05/11 07/12 |
Les publications peuvent être consultées en ligne sur le site Dial.pr ou depuis notre base de donnée.