Stockage hiérarchique

Le service HPSS (High Performance Storage System) est un système capable de stocker de très grandes quantités de données avec une relativement bonne performance en écriture et lecture.

Note

HPSS n’est pas un système d’archivage, il ne stocke qu’une unique réplique des fichiers.

Accès et gestion des données

La gestion des fichiers sur HPSS se fait avec l’API RFIO. Pour charger l’environnement RFIO, utilisez “shift” :

% ccenv shift

Voici les commandes les plus courantes pour gérer des fichiers avec RFIO :

rfcp          # remote file copy
rfchmod       # change file access permission
rfdir         # remote directory list
rfmkdir       # make remote directories
rfrename      # rename remote file
rfrm          # remove remote files and directories
rfstat        # get information about a file or directory

Ces commandes s’utilisent avec le service RFIO cchpss0 de la manière suivante :

% rfdir cchpss0:/hpss/in2p3.fr/group/alice

On peut aussi vouloir utiliser des liens symboliques pointant vers des répertoires HPSS distants, comme suit :

% ln -s cchpss0:/hpss/in2p3.fr/group .
% rfdir group
drwxr-xr-x  79 root     root                     1536 Jun 03 10:38 .
drwxr-xr-x   4 root     root                      512 Mar 27  2017 ..
drwxrwxr-x   7 tmaterna mnm                       512 Mar 27 10:28 mnm
drwxrwxr-x   2 aubourg  sdss                      512 Apr 14  2009 sdss
.....

Trouver un fichiers dans l’arborescence HPSS peut etre lent. En cas d’appels fréquents de fichiers sur HPSS, nous recommandons l’utilisation d’une base de données ou catalogue dédié.

Permissions

Les permissions sur les fichiers dans HPSS fonctionnent de la même manière que les permissions Unix standard. Veuillez noter que rfcp propage les permissions d’origine vers la nouvelle copie.

Accès depuis les jobs

Pour accéder à HPSS depuis un job exécuté sur la ferme de calcul, veuillez utiliser l’option -l lors de la soumission :

% qsub -l hpss=1 script.sh

Taille des fichiers

HPSS suppporte des fichiers de 64 GB au maximum. Pour bénéfichier de meilleurs performances en I/O, les utilisateurs sont invités à stocker dans HPSS des fichiers de grande taille (> 1 GB), l’optimum étant de 4 GB.

En cas de besoin de stockage de grande quantités de petits fichiers, veuillez contacter le support utilisateurs.

Transferts de fichiers

Le service HPSS du CC-IN2P3 permet le transfert direct de fichiers depuis l’extérieur par bbftp.