SPS

Le service SPS (Semi-Permanent Storage) est un système de fichiers distribués accessible depuis tous les serveurs de la plateforme de calcul (interactifs inclus). L’espace alloué est partagé par tous les utilisateurs d’un groupe et il est accessible par le chemin /sps/mygroup.

Le quota par défaut pour un nouveau groupe est de 5 TiB. Pour toute demande d’espace supplémentaire, veuillez respecter les critères d’attribution.

Pour connaître l’utilisation de l’espace SPS de votre groupe sans passer par l’interface web du monitoring, vous pouvez utiliser la commande Unix df :

% df -h /sps/mygroup

ou, pour des informations plus détaillées (nombre de fichiers, espace utilisé par un utilisateur…) utilsez la commande spsquotalist. Lancer la commande sans arguments fourni une série d’exemples de syntaxe :

% spsquotalist

spsquotalist usage examples:
...

Bonnes pratiques

Le systeme de stockage SPS est un stockage sur disque destiné (mais pas limité) aux fichiers suivants :

  • trop volumineux pour votre home ;

  • modifiés (très) souvent, c’est-à-dire pour lesquels le modèle d’I/O est principalement des (petites) écritures, par exemple des fichiers log ;

  • utilisés par de nombreux jobs, en particulier lorsque le résultat d’un job correspond à l’input d’un job exécuté ultérieurement ;

  • ou lorsqu’il y a un grand nombre de fichiers (de dizaines de milliers à des millions voire des dizaines de millions).

Le stockage semi-permanent n’est pas destiné au stockage permanent (pour du stockage à long terme, veuillez consulter la rubrique Stockage de masse.) : les serveurs de disques SPS utilisent un stockage redondant et fiable, mais peuvent avoir des pannes critiques ; vos données pourraient alors être définitivement perdues puisque, à quelques exceptions près, les espaces sous /sps ne sont pas sauvegardés.

Les données sur SPS peuvent être accédées par des appels POSIX de la même façon que sur un système de fichiers local au travers de fonctions et commandes standard comme ls, cp, etc.

Note

pour soumettre un job devant accéder à SPS, l’utilisateur doit le spécifier au moment de la soumission avec l’option -L sps.

Monitoring de SPS

Des statistiques quotidiennes sur l’utilisation de l’espace SPS sont fournies par les gestionnaires du service. Quatre types de statistiques sont disponibles pour chaque espace disque /sps :

  • Statistiques par utilisateur des fichiers et de l’espace utilisé. L’intention est d’informer les utilisateurs sur qui parmi leur groupe utilise l’espace disque disponible. Ceci est simplement un résumé par utilisateur, la liste des fichiers n’est pas disponible. Tous les fichiers sont pris en compte, y compris ceux des répertoires avec des autorisations d’accès restreint.

  • Statistiques par objets de premier niveau (fichiers et répertoires) des fichiers et de l’espace utilisé. L’intention est de permettre aux utilisateurs de connaître la quantité d’espace utilisée par les principales parties du système de fichiers. Ceci est à peu près similaire au résultat de la commande du, utilisé de la manière suivante :

    % cd /sps/mygroup && du -sh *

    Pour certains groupes avec des paramètres spécifiques, le résultat peut également inclure des objets d’un niveau plus profond (dans ce cas, ils apparaissent en italique et justifiés à droite dans la première colonne du tableau).

  • Statistiques par utilisateur d’espace nettoyé. Il permet une vue rapide des fichiers les plus anciens d’un groupe, suggérant des cibles de nettoyage.

  • Graphiques sur les statistiques des fichiers. Cela inclut des informations sur :

    • La distribution des tailles de fichiers, par exemple : « combien y a-t-il de fichiers d’une taille comprise entre 5 KiB et 10 KiB ? ou combien d’espace est utilisé par tous les fichiers d’une taille comprise entre 10 et 50 MiB ? »

    • Dernier temps d’accès, par exemple : « combien de fichiers ont été consultés au cours des 2 dernières semaines ? ou combien d’espace a été utilisé par les fichiers non utilisés au cours des 6 derniers mois ? » Un accès est comptabilisé si on lit au moins un octet à un fichier.

    • Fraîcheur des fichiers : il s’agit d’une mesure approximative de la fréquence et du type d’accès aux fichiers, ainsi que de leur durée de vie. Il s’agit du laps de temps entre le dernier temps de modification d’un fichier (dernière écriture) et le dernier temps d’accès à ce fichier (dernière lecture).

    • Types de fichiers : nombre de fichiers et espace utilisé par type de fichier (par exemple, fichiers ROOT, fichiers journaux, etc.) Le type d’un fichier est déterminé à partir du suffixe du nom de fichier (extension), par exemple myjob.log est susceptible d’être un fichier log.

Pour tout problème avec cette interface, veuillez d’abord parcourir la FAQ dédiée

Vous pouvez trouver ces informations regroupées dans la page d’accueil du monitoring SPS.