Espaces de stockage
Le CC-IN2P3 fournit deux systèmes de fichiers distribués pour héberger les espaces de stockage personnels et de groupe des experiences supportées.
Pour connaître les quotas allouées sur les différents espaces à partir d’un serveur interactif :
% df -h /pbs/home/<u>/<username>
Filesystem Size Used Avail Use% Mounted on
ccsisi.in2p3.fr:/pbs/home 20G 19G 1.2G 95% /pbs/home
% df -h /pbs/throng/<groupe>
% df -h /sps/<groupe>
% spsquotalist
spsquotalist usage examples:
...
Attention
Toute collaboration doit fournir un plan de gestion décrivant le cycle de vie de leurs données. Ce document sera par la suite discuté avec les correspondants de collaboration une fois par an lors des demandes de ressources.
Pour obtenir un panorama des services de stockage, vous pouvez vous référer aux documents utilisés lors des formations dispensées par le CC-IN2P3.
Répertoire personnel (HOME)
Le répertoire HOME est dédié au stockage de données personnelles, et est sauvegardé chaque jour (voir Politique de sauvegarde). Cet espace est associé à la variable d’environnement Unix HOME :
% echo $HOME
/pbs/home/<u>/<username>
Par défaut, les répertoires HOME ont un quota de 20 GiB et ne sont pas accessibles aux autres utilisateurs, mais les droits d’accès peuvent etre modifiés (voir Gestion des ACL).
Important
Bien que « personnel » par défaut, ce répertoire reste soumis à une utilisation professionnelle; les données peuvent donc être transmises au correspondant de collaboration sur demande, en particulier lors de la fermeture du compte.
Attention
Un répertoire HOME plein peut provoquer des erreurs, par exemple si un job essaie d’écrire dessus.
Stockage de groupe
Les espaces de stockage de groupe sont partagés et accessibles aux utilisateurs d’une même groupe Unix. Il est attendu que de tels utilisateurs travaillent sur des problématiques communes et aient besoin de partager des données.
Répertoire THRONG
Le répertoire THRONG est un espace commun où les utilisateurs peuvent partager des données importantes nécessitant une sauvegarde régulière. Le CC-IN2P3 alloue un répertoire THRONG sur demande faite au support utilisateurs. Le quota par défaut, est de 100 GiB.
Le répertoire THRONG est sauvegardé chaque jour (voir Politique de sauvegarde). Il associé à la variable d’environnement Unix THRONG_DIR :
% echo $THRONG_DIR
/pbs/throng/<groupe>
Quand il est créé, cet espace peut etre géré indifféremment par tous les utilisateurs appartement au même groupe Unix. Les utilisateurs peuvent aussi organiser les permissions et déléguer des droits à d’autres utilisateurs (voir Gestion des ACL).
Répertoire GROUP
A la différence de l’espace THRONG, l’espace GROUP n’est pas sauvegardé. Il a pour vocation d’accueillir des volumétries plus importantes, comme des données de expérimentales non critiques devant être accédées régulièrement par un ensemble de collaborateurs.
Le CC-IN2P3 alloue un espace GROUP sur demande faite au support utilisateurs. Le quota par défaut, est de 5 TiB.
Cet espace se situe dans l’arborescence du service SPS, sous le chemin /sps/<groupe>. Pour plus d’informations, veuillez lire la page dediée.
Quand il est créé, cet espace peut etre géré indifféremment par tous les utilisateurs appartement au même groupe Unix. Les utilisateurs peuvent aussi organiser les permissions et déléguer des droits à d’autres utilisateurs.
Espaces de travail
En plus de votre HOME et des répertoires THRONG et GROUP, vous pouvez utiliser depuis les serveurs interactifs un répertoire de travail /scratch pour y stocker des fichiers de manière transitoire.
Le repertoire /scratch est partagé entre tous les utilisateurs pouvant accéder au serveur. Pour en bénéficier vous pouvez le créer s’il n’existe pas déjà :
% mkdir /scratch/$USER
pour ensuite pouvoir y déposer vos fichiers.
Attention
Cet espace de travail n’est pas permanent, les données en sont effacées régulièrement de manière automatique.
Depuis un serveur de calcul, votre job s’exécute dans un répertoire de travail de l’espace /scratch dont le chemin est défini par l’ordonnanceur. Vous pouvez récupérer la valeur de ce chemin au travers de la variable d’environnement TMPDIR.
Informations avancées
Pour plus d’informations sur les fonctionnalités des deux systèmes de fichiers distribués veuillez vous référer aux pages suivantes.
Plan de gestion des données
Un plan de gestion des données (DMP : Data Management Plan) décrit le cycle de vie des données. Il ne s’agit pas d’un formulaire administratif à remplir, mais d’un processus de planification qui doit être géré par les correspondants de collaboration avec la contribution de tout utilisateur propriétaire de données.
- Un DMP doit inclure :
une description générale (finalité des données) ;
des informations sur le traitement des données pendant et après la fin du projet (responsabilité) ;
les scénarios d’utilisation des données ;
une demande des ressources ;
les aspects juridiques et éthiques ;
la façon dont les données seront transformées et conservées (y compris après la fin du projet).
Pour aider à la création/édition du document et le rendre disponible à toute révision éventuelle tout le long de la période d’activité du projet, le CC-IN2P3 propose un formulaire suivant les standards du format RDA dans le portail DMP. Pour obtenir l’accréditation nécessaire à l’accès, veuillez contacter le support utilisateurs.
Attention
Un certain nombre de questions ont été désignées comme porteuses d’informations essentielles pour la gestion du stockage au CC-IN2P3. En absence de ces informations, le DMP ne pourra pas être validé pour l’année en cours. Les questions essentielles seront présentées et expliquées catégorie par catégorie dans la section suivante