La plateforme de calcul

La plateforme de calcul accessible par l’ordonnanceur de jobs est composée de serveurs de calcul Linux. Elle est composée de trois plateformes distinctes, représentant chacune un cas typique d’utilisation :

La plateforme HTC (High-Throughput Computing)
est adaptée à l’exécution de la majorité des applications traditionnelles HEP mono ou multi-cœurs : elle représente la majeure partie de la puissance de calcul fournie par le CC-IN2P3.
La plateforme HPC (High-Performance Computing)
est de capacité plus réduite, et est destinée à accueillir les calculs parallèles ; elle est composée d’un ensemble de serveurs connectés en InfiniBand, ce qui permet une communication efficace inter-serveurs via l’utilisation de bibliothèques MPI.
La plateforme GPU
est composée d’un groupe de serveurs équipés de cartes graphiques permettant d’accueillir des applications de calculs vectoriels.

Note

Pour connaître les caractéristiques techniques des serveurs de calcul, veuillez consulter la page Configuration des serveurs de calcul.

L’ordonnanceur représente l’unique point d’entrée commun à tous les utilisateurs pour soumettre des jobs sur la plateforme de calcul. Son rôle est de recevoir les jobs soumis par les utilisateurs, de les ordonnancer et de les soumettre pour exécution sur un serveur de calcul approprié et disponible.

Le but principal est d’utiliser les ressources de calcul (CPU, GPU, mémoire, espace disque) de la manière la plus efficace possible. La mutualisation de toutes les ressources pour tous les utilisateurs permet une utilisation optimale de l’ensemble de la plateforme de calcul.

De façon générale, un job est une tâche (ou un ensemble de tâches) que l’utilisateur souhaite exécuter sur les serveurs de la plateforme de calcul. Cette tâche peut être un fichier exécutable, un ensemble de commandes, un script, etc. Un job peut être développé et testé sur les serveurs interactifs avant d’être soumis massivement sur la plateforme de calcul.

Attention

Le CC-IN2P3 va procéder au changement de son logiciel d’ordonnancement, et passer de Grid Engine (GE) à Slurm.

Pendant toute la phase de transition, les documentations de l’ancien et du nouvel ordonnanceur seront proposées en parallèle. On invite les nouveaux entrants comme les utilisateurs experimentés à communiquerleurs retours concernant le nouvel ordonnanceur à notre support utilisateurs.

Note

Le système Slurm est conceptuellement très proche de GE, ce que l’on retrouve dans la similitude des lignes de commandes de ces deux logiciels. On pourra se référer à ce lien pour la conversion des principales commandes GE en commandes Slurm.