Guide utilisateur



Avant d'utiliser les ressources informatiques du CC-IN2P3, tout utilisateur doit avoir, au préalable, lu la charte de bon usage des ressources informatiques du Centre de Calcul. La lecture de la charte est une obligation légale.

Pour obtenir un compte au centre de calcul, veuillez consulter le document de demande d’ouverture de compte local au Centre du Calcul

Résumé de la procédure :
Si vous n'avez pas de compte, vous devez remplir un formulaire de demande de compte pour accéder aux ressources du CCIN2P3. Lorsque vous remplissez le formulaire en ligne, vous devez indiquer un nom de compte, votre nom d'expérience ou de laboratoire ainsi qu'une adresse mail de contact valide.
Vous devrez ensuite imprimer le formulaire, le signer et le transmettre à votre CZAR compte (personne responsable des demandes de compte pour votre laboratoire et/ou votre groupe). Ce dernier le signera et finalisera la procédure de demande en le faxant au Centre de Calcul. Une fois le compte créé, votre CZAR en sera averti et il initialisera votre mot de passe.

Pour plus d'informations sur les CZAR, consultez le document : Les utilisateurs (CZAR) avec privilèges d’administration

Le parc informatique du Centre de Calcul de l'IN2P3 est composé de matériels hétérogènes répartis en quatre grandes catégories :

  • la plate-forme de calcul
  • le matériel de stockage de masse sur disques
  • le matériel dédié au stockage de masse sur bandes magnétiques
  • l'ensemble des serveurs dédié au fonctionnement de l'environnement

Veuillez vous rappeler que ces ressources sont partagées entre de nombreux utilisateurs ainsi qu'entre de nombreuses expériences, il est donc important de les utiliser de façon optimale.

Comment se logguer au CC

La connexion sur le centre de calcul se fait par SSH sur les fermes d'accueil interactif. Pour vous connecter, vous pouvez utiliser une application graphique disposant du protocole SSH. Sinon vous pouvez vous connecter en mode commande, en tapant :

> ssh <VotreCompteUtilisateur>@cca.in2p3.fr

Vous devrez saisir votre mot de passe.

Pour plus d'informations sur comment se connecter au CC, consultez le document Votre environnement de travail .

Comment changer son mot de passe

Pour changer votre mot de passe, tapez :

> kpasswd

Le mot de passe est valide pour une durée de 180 jours. Le mot de passe doit satisfaire à des règles strictes lorsqu'il vous est demandé de le changer : il doit contenir au moins 12 caractères de 3 types différents (minuscule, majuscule, chiffre ou caractère spécial)

Si vous avez oublié votre mot de passe, veuillez contacter le responsable informatique de votre laboratoire (CZAR compte) .

Le Centre de Calcul n'initialise ni ne modifie votre mot de passe.

Rediriger votre compte mail du centre vers votre adresse préférée

Par défaut, lorsque que votre compte est créé, les mails sont envoyés à l'adresse mail fournie lors de la demande de compte. Dans le cas, où votre compte mail n'est pas à l'in2p3, vous pouvez rediriger les mails envoyés à <VotreCompte>@in2p3.fr vers votre boite mail habituelle.

Pour rediriger les mails, contactez le support utilisateurs

Le Centre de Calcul met à disposition différents systèmes de stockage permettant de travailler de façon partagée au sein d'un groupe ou d'une collaboration.

Les différents systèmes de stockage peuvent être classés en deux catégories: les systèmes accessibles par les commandes UNIX standard les systèmes accessibles par des interfaces ou commandes propriétaires

Les deux systèmes accessibles par les commandes UNIX standard sont l'espace AFS et la zone de stockage semi-permanente appelée SPS. Ces deux zones de stockages sont accessibles facilement par les différents logiciels compatibles avec l'environnement UNIX.

Cependant un grand nombre de groupes ont besoin de traiter et de produire des données scientifiques dont le volume peut être conséquent. La gestion de ces données s'effectue très souvent au travers du robot de stockage sur cartouches magnétiques. Les données stockées sur un tel support sont accédées par différentes technologies suivant les besoins spécifiés par les groupes d'utilisateurs.

Afin d’optimiser l’utilisation de ces systèmes dans le cadre d’une utilisation importante, il est nécessaire de prendre contact au préalable avec les personnels du Centre de Calcul. Un échange constructif d’informations permettra alors d’adopter la meilleure stratégie et de dimensionner raisonnablement les systèmes nécessaires.
L’objectif est pour le Centre de Calcul d’optimiser les performances d’accès aux données au meilleur coût et de limiter le temps CPU perdu lors d’attente excessive aux données, le tout afin d’accroître vos performances de calcul et de traitement de vos données scientifiques.

Le système de fichier partagé AFS

Le système de fichier AFS permet le partage de fichiers entre les différentes machines du centre de calcul. Le système de fichier AFS dispose de ses propres listes de protection (ACL) sur les répertoires. Les droits AFS sont “plus riches” que les droits UNIX standards.

Un utilisateur disposant d'un compte local au Centre de Calcul peut accéder deux zones: son “home” AFS accessible par la variable $HOME. En général, cette zone permet de stocker des fichiers personnels que l'on peut ranger soit dans le répertoire “public”, soit dans le répertoire “private” l'espace “throng” ($THRONG_DIR) est réservé aux installations des logiciels au niveau d'un groupe.

Attention, seuls les répertoires $HOME et $THRONG_DIR sont sauvegardés quotidiennement. Pour en savoir plus sur la politique de sauvegarde au Centre de Calcul voir l'article "AFS : sauvegarde des différents espaces"

L'espace de travail semi-permanent SPS

Les fichiers semi-permanents peuvent être stockés sur l'espace de travail semi-permanent (SPS) . Ces disques sont dédiés à un stockage semi-permanent pour des analyses durant typiquement quelques semaines. Il n'y a pas de sauvegarde de ces données et celles-ci sont susceptibles d'être enlevées en cas de problème d'espace disque.

Gestion de données sur cartouche

Suivant vos besoins, vous pouvez être amenés à stocker vos données directement sur cartouches. Au Centre de Calcul, la manipulation des fichiers sur cartouches s'effectue en utilisant le logiciel RFIO au travers du système de stockage HPSS. HPSS : **H** igh **P** erformance **S** torage **S** ystem, est un système de stockage de masse à hautes performances capable de stocker de grosses quantités de données. RFIO : **R** emote **F** ile **I** nput/ **O** utput est un logiciel qui permet de faire des entrées/sorties sur des fichiers non locaux. RFIO est utilisé notamment pour l'accès à HPSS.

Accés aux données via des systèmes de cache

Pour les expériences qui doivent accéder à une grosse volumétrie de données stockées sur cartouches, il est très efficace d'utiliser un système de cache de données disques en frontal du stockage de masse.
Le centre dispose de deux technologies: DCache Xrootd

Accès aux données via des systèmes de stockage virtualisés

Vous pouvez stocker également vos données au travers de systèmes de stockage virtualisés. Ce système permet de cacher aux utilisateurs les supports physiques dans lesquels sont stockées les données : iRODS

Il est possible d'effectuer des calculs de plusieurs façons: interactif en se connectant à distance. Le mode interactif est utilisé pour la mise au point des algorithmes et les petits calculs de courtes durées (de l'ordre de la dizaine de minutes) en mode déporté en utilisant le système de batch Grid Engine depuis la grille de calcul via l'infrastructure EGEE

Soumettre des jobs au centre de calcul en utilisant Grid Engine

Outre les machines interactives qui permettent de mettre au point les programmes, le Centre de Calcul est doté d'un lot de machines dédiées à l'exécution intensive des jobs, c-a-d au calcul. Ces machines sont réparties en plusieurs groupes, voir la page Informations about Grid Engine batch system computers at IN2P3 Computing Center .

L'utilisateur n'a pas un accès direct à ce parc de machines mais il doit soumettre ses jobs, depuis les machines interactives, à travers l'ordonnanceur de jobs (“batch system”) Grid Engine, avec une commande du type :

> qsub [ options ] [ script ]

voir l'article Utiliser le système de batch GE depuis le centre de calcul.

Cette utilisation “standard” n'est autorisée que pour les utilisateurs ayant un compte au CC. C'est une soumission locale de jobs ; un autre type de soumission à distance, traitée plus loin, peut se faire via la grille de calcul. Après la soumission d'un job, GE permet sa modification éventuelle et son suivi.

Les fermes de calcul sont partagées par de nombreux utilisateurs issus de différents groupes. L'optimisation de l'utilisation des machines dans leur ensemble est pilotée par GE en fonction des ressources décrites dans les options (mémoire vive, temps d'exécution, type de stockage à accéder, etc…) lors de la soumission du job. Il est donc particulièrement important de les spécifier de façon adéquate et la plus complète possible.

Pour préserver cette utilisation partagée, il est recommandé de ne pas avoir plus de 1000 jobs en queue et de faire des soumissions régulières. Au delà de 3000 jobs en queue, l'utilisateur est bloqué (il ne peut plus soumettre de jobs) et les jobs en queue sont supprimés.

Pour consulter la liste des ressources disponibles, consulter la page Informations about Grid Engine complex & RQS (resources) .

L'utilisateur désireux d'utiliser les machines de calcul du CC via GE et les machines interactives trouvera toutes les informations détaillées à cette adresse Ferme de calcul .

Soumettre des jobs en utilisant la grille

Depuis les machines interactives, vous pouvez également accéder aux ressources de la grille de calcul.

Pour utiliser la grille de calcul, vous devez disposer d'un certificat GRID2-FR valide et vous enregistrer dans une organisation virtuelle (VO). Une VO est équivalente à un groupe sous UNIX. Une fois enregistré dans la VO, celle-ci vous délivre un proxy , fichier signé avec votre certificat, qui vous permettra de vous authentifier afin d'accéder aux ressources dédiées à votre VO.

Pour plus d'information, vous pouvez consulter notre page web sur les grilles de calcul .

  • guide_utilisateur.txt
  • Dernière modification: 2019/08/02 10:59
  • par David BOUVET