La plateforme de calcul
La plateforme de calcul accessible par l’ordonnanceur de jobs est composée de serveurs de calcul Linux. Elle est composée de trois plateformes distinctes, représentant chacune un cas typique d’utilisation :
- La plateforme HTC (High-Throughput Computing)
est adaptée à l’exécution de la majorité des applications traditionnelles HEP mono ou multi-cœurs : elle représente la majeure partie de la puissance de calcul fournie par le CC-IN2P3.
- La plateforme HPC (High-Performance Computing)
est de capacité plus réduite, et est destinée à accueillir les calculs parallèles ; elle est composée d’un ensemble de serveurs connectés en InfiniBand, ce qui permet une communication efficace inter-serveurs via l’utilisation de bibliothèques MPI.
- La plateforme GPU
est composée d’un groupe de serveurs équipés de cartes graphiques permettant d’accueillir des applications de calculs vectoriels.
L’ordonnanceur représente l’unique point d’entrée commun à tous les utilisateurs pour soumettre des jobs sur la plateforme de calcul. Son rôle est de recevoir les jobs soumis par les utilisateurs, de les ordonnancer et de les soumettre pour exécution sur un serveur de calcul approprié et disponible.
Actuellement le logiciel d’ordonnancement de la ferme locale du CC-IN2P3 est SLURM.
La configuration de la plateforme favorise les petits jobs. Plus de 85% des jobs demandent 1 seul CPU et moins de 4Go de mémoire, avantageant ainsi les jobs autour de cette taille là. Il faut noter que le facteur limitant est souvent la mémoire plutôt que le CPU, donc l’optimisation de la demande mémoire peut aider votre job à être ordonnancé plus rapidement.
Note
La fonctionnalité d’auto-complétion est active pour toute commande SLURM. Elle permet, par exemple, de connaitre pour une commande donnée toutes les options disponibles dans le contexte courant.
Pour aller plus loin, vous pouvez aussi vous référer aux documents utilisés lors des formations dispensées par le CC-IN2P3.