Espaces de stockage

Pour obtenir un panorama des services de stockage, vous pouvez vous référer aux documents utilisés lors des formations dispensées par le CC-IN2P3.

Plan de gestion des données

Un plan de gestion des données (DMP : Data Management Plan) décrit le cycle de vie des données. Il ne s’agit pas d’un formulaire administratif à remplir, mais d’un processus planification qui doit être géré par les correspondants de collaboration avec la contribution de tout utilisateur propriétaire de données.

Un DMP doit inclure :

une description générale (finalité des données)
des informations sur le traitement des données pendant et après la fin du projet (responsabilité)
les scénarios d’utilisation des données
une allocation des ressources (coûts)
les aspects juridiques et éthiques
la façon dont les données seront transformées et conservées (y compris après la fin du projet)

Pour aider à la compilation du document, le CC-IN2P3 propose l’interface web RDMO. Pour obtenir l’accréditation nécessaire, veuillez contacter le support utilisateurs.

Stockage personnel (HOME)

Le répertoire HOME est dédié au stockage de données personnelles, et est sauvegardé chaque jour (voir Politique de sauvegarde). Cet espace est associé à la variable d’environnement Unix HOME :

% echo $HOME
/pbs/home/<u>/<user>

Par défaut, les répertoires HOME ont un quota de 20 GiB et ne sont pas accessibles aux autres utilisateurs, mais les droits d’accès peuvent etre modifiés (voir Gestion des ACL).

Important

Bien que « personnel » par défaut, ce répertoire reste soumis à une utilisation professionnelle; les données peuvent donc être transmises au correspondant de collaboration sur demande, en particulier lors de la fermeture du compte.

Attention

Un répertoire HOME plein peut provoquer des erreurs, par exemple si un job essaie d’écrire dessus.

Stockage de groupe

Les espaces de stockage de groupe sont partagés et accessibles aux utilisateurs d’une même groupe Unix. Il est attendu que de tels utilisateurs travaillent sur des problématiques communes et aient besoin de partager des données.

Répertoire THRONG

Le répertoire THRONG est un espace commun où les utilisateurs peuvent partager des données importantes nécessitant une sauvegarde régulière. Le CC-IN2P3 alloue un répertoire THRONG sur demande faite au support utilisateurs. Le quota par défaut, est de 100 GiB.

Le répertoire THRONG est sauvegardé chaque jour (voir Politique de sauvegarde). Il associé à la variable d’environnement Unix THRONG_DIR :

% echo $THRONG_DIR
/pbs/throng/<group>

Quand il est créé, cet espace peut etre géré indifféremment par tous les utilisateurs appartement au même groupe Unix. Les utilisateurs peuvent aussi organiser les permissions et déléguer des droits à d’autres utilisateurs (voir Gestion des ACL).

Répertoire GROUP

A la différence de l’espace THRONG, l’espace GROUP n’est pas sauvegardé. Il a pour vocation d’accueillir des volumétries plus importantes, comme des données de expérimentales non critiques devant être accédées régulièrement par un ensemble de collaborateurs.

Le CC-IN2P3 alloue un espace GROUP sur demande faite au support utilisateurs. Le quota par défaut, est de 5 TiB.

Cet espace se situe dans l’arborescence du service SPS, sous le chemin /sps/<group>. Pour plus d’informations, veuillez lire la page dediée.

Quand il est créé, cet espace peut etre géré indifféremment par tous les utilisateurs appartement au même groupe Unix. Les utilisateurs peuvent aussi organiser les permissions et déléguer des droits à d’autres utilisateurs.

Espaces de travail

En plus de votre HOME et des répertoires THRONG et GROUP, vous pouvez utiliser depuis les serveurs interactifs un répertoire de travail /scratch pour y stocker des fichiers de manière transitoire.

Le repertoire /scratch est partagé entre tous les utilisateurs pouvant accéder au serveur. Pour en bénéficier vous pouvez le créer s’il n’existe pas déjà :

% mkdir /scratch/$USER

pour ensuite pouvoir y déposer vos fichiers.

Attention

cet espace de travail n’est pas permanent, les données en sont effacées régulièrement de manière automatique.

Depuis un serveur de calcul, votre job s’exécute dans un répertoire de travail de l’espace /scratch dont le chemin est défini par l’ordonnanceur. Vous pouvez récupérer la valeur de ce chemin au travers de la variable d’environnement TMPDIR.