Stockage hiérarchique¶
Le service HPSS (High Performance Storage System) est un système capable de stocker de très grandes quantités de données avec une relativement bonne performance en écriture et lecture.
Note
HPSS n’est pas un système d’archivage, il ne stocke qu’une unique réplique des fichiers.
Accès et gestion des données¶
La gestion des fichiers sur HPSS se fait avec l’API RFIO. Pour charger l’environnement RFIO, utilisez “shift” :
% ccenv shift
Voici les commandes les plus courantes pour gérer des fichiers avec RFIO :
rfcp # remote file copy
rfchmod # change file access permission
rfdir # remote directory list
rfmkdir # make remote directories
rfrename # rename remote file
rfrm # remove remote files and directories
rfstat # get information about a file or directory
Ces commandes s’utilisent avec le service RFIO cchpss0 de la manière suivante :
% rfdir cchpss0:/hpss/in2p3.fr/group/alice
On peut aussi vouloir utiliser des liens symboliques pointant vers des répertoires HPSS distants, comme suit :
% ln -s cchpss0:/hpss/in2p3.fr/group .
% rfdir group
drwxr-xr-x 79 root root 1536 Jun 03 10:38 .
drwxr-xr-x 4 root root 512 Mar 27 2017 ..
drwxrwxr-x 7 tmaterna mnm 512 Mar 27 10:28 mnm
drwxrwxr-x 2 aubourg sdss 512 Apr 14 2009 sdss
.....
Trouver un fichiers dans l’arborescence HPSS peut etre lent. En cas d’appels fréquents de fichiers sur HPSS, nous recommandons l’utilisation d’une base de données ou catalogue dédié.
Permissions¶
Les permissions sur les fichiers dans HPSS fonctionnent de la même manière que les permissions Unix standard. Veuillez noter que rfcp propage les permissions d’origine vers la nouvelle copie.
Accès depuis les jobs¶
Pour accéder à HPSS depuis un job exécuté sur la ferme de calcul, veuillez utiliser l’option -l lors de la soumission :
% qsub -l hpss=1 script.sh
Taille des fichiers¶
HPSS suppporte des fichiers de 64 GB au maximum. Pour bénéfichier de meilleurs performances en I/O, les utilisateurs sont invités à stocker dans HPSS des fichiers de grande taille (> 1 GB), l’optimum étant de 4 GB.
En cas de besoin de stockage de grande quantités de petits fichiers, veuillez contacter le support utilisateurs.