Questions sur le monitoring SPS
Ces statistiques doivent être fausses, elles ne comptabilisent pas les fichiers créés aujourd’hui !
Ces statistiques sont basées sur des données prises une fois par jour. Elles ne peuvent rapporter que les fichiers (et les répertoires/liens) qui existaient au moment de l’exécution du processus d’acquisition des données.
Ces statistiques doivent être fausses, la taille totale est supérieure à la taille du système de fichiers (espace) !
Ces statistiques sont basées sur les tailles de fichier signalées par le système, tout comme ce qui est affiché par la commande ls.
Certains fichiers (appelés fichiers fragmentés) sont en réalité plus petits que ce qu’ils prétendent être et utilisent donc moins d’espace disque que leur taille apparente.
Le nombre de fichiers de ce type et la quantité d’espace qu’ils utilisent (le cas échéant) sont affichés sur les images Number of files & files sizes distribution et Files sizes & files sizes distribution avec la ligne violette.
Pour certains systèmes de fichiers (espaces), il existe également une compression transparente sur le serveur. Lorsque disponible, cela est mentionné dans l’image Files size & files size distribution, dans la ligne Specific configuration.
Pour ces systèmes de fichiers, l’espace économisé par la compression est affiché avec la ligne d’espace en trous (comme les fichiers fragmentés).
A quelle fréquence/quand les statistiques sont-elles mises à jour ?
Les statistiques sont mises à jour une fois par jour, à partir des données recueillies entre 00h00 et 01h00 du matin (heure de Lyon). De nouvelles statistiques sont disponibles entre 05h00 et 07h00 (heure locale, soit UTC + 1 avec heure d’été et UTC + 2 sans heure d’été).
Ainsi, les statistiques peuvent être considérées comme un instantané de l’état d’un espace de stockage semi-permanent tel qu’il était à la fin de la journée précédente.
Puis-je voir les statistiques par utilisateur d’il y a N jours ?
Oui, vous pouvez (la plupart du temps).
Supposons que vous apparteniez à groupe et que vous souhaitiez savoir lequel de vos collègues remplissait la majeure partie de /sps/groupe avec ses fichiers.
Les statistiques sur l’utilisation de /sps/groupe pour une date donnée sont disponibles à l’adresse https://ccspsmon.in2p3.fr/users/groupe-AAAA-MM-JJ.html, où DD est le jour du mois (sur deux chiffres), MM est le mois (sur deux chiffres) et AAAA l’année (sur quatre chiffres).
Par exemple, les statistiques du 15 août 2016 seraient disponibles à cette adresse URL : https://ccspsmon.in2p3.fr/users/groupe-2016-05-15.html. Il en va de même pour les nettoyages, remplacez users par cleanup dans les URL et assurez-vous qu’un nettoyage a eu lieu à la date qui vous intéresse.
Puis-je comparer les statistiques par utilisateur d’aujourd’hui et d’hier (ou de N jours avant) ?
Voir la réponse précédente.
Ouvrez les statistiques pour les jours qui vous intéressent et comparez-les.
Comment fonctionne le nettoyage automatisé ?
Le coordinateur informatique de votre groupe ou de votre expérience définit la politique de nettoyage avec le personnel de CC-IN2P3.
La politique la plus fréquente est :
Si le système de fichiers est plein à moins de 95%, ne faites rien. Sinon, lancez le nettoyage.
Obtenez la liste des fichiers non utilisés pendant au moins 3 mois.
Supprimez autant de fichiers que nécessaire parmi les fichiers sélectionnés à l’étape précédente pour réduire l’utilisation du système de fichiers à 80%.
Envoyez un e-mail de notification de réussite ou d’échec à l’équipe d’assistance et / ou au coordinateur informatique de l’expérimentation.
Générez des statistiques sur le nettoyage (y compris les listes de fichiers).
D’autres stratégies sont possibles et utilisées, par exemple, un fichier peut être supprimé de manière inconditionnelle s’il n’a pas été utilisé pendant N jours.
La liste des fichiers non consultés pendant N jours est extraite du fichier de données utilisé pour les statistiques immédiatement après l’acquisition des données. Le processus de nettoyage commence alors immédiatement.
Plusieurs mécanismes de sécurité doivent être appliqués avant de supprimer un fichier (indépendamment de la stratégie) :
Si un fichier est accédé entre le moment de la collecte des données statistiques et le moment de la suppression, il ne sera pas supprimé.
Les liens symboliques ne sont pas suivis.
Seuls les fichiers normaux sont supprimés. Les répertoires, liens symboliques et autres objets ne sont pas touchés.
Les autorisations d’accès définies pour le fichier à supprimer ou le répertoire contenant le fichier ne sont pas pertinentes pour le processus de nettoyage.
Il n’y a aucun moyen d’empêcher la suppression automatique d’un fichier lorsque le nettoyage automatique est activé et que le fichier n’a pas été utilisé depuis suffisamment de temps (aucune fonctionnalité pin file comme pour SRM ou dCache).
Je souhaite que les espaces SPS de mon groupe soient nettoyés automatiquement. Qui dois-je contacter, qui est en charge du démarrage des nettoyages ?
Contactez votre correspondant de collaboration.
Si une personne du CC-IN2P3 apporte un support dedié à votre groupe, contactez-la directement.
Personne ne lance le processus de nettoyage, il s’exécute automatiquement avec des privilèges spéciaux sur certains des serveurs hébergeant l’espace à nettoyer.
Les statistiques sont basées sur les données recueillies avant le nettoyage, elles seront trompeuses pour le jour du nettoyage.
Certains de mes fichiers ont disparu, que s’est-il passé ?
Êtes-vous sûr que le nettoyage automatique n’a pas été activé pour votre espace ?
Si le nettoyage n’est pas actif, il est possible que quelqu’un ait supprimé vos fichiers par erreur et ait pu le faire en raison d’autorisations permissives. Afin de supprimer un fichier, un accès en écriture au répertoire contenant le fichier est nécessaire.
Si les autorisations sont ajustées et que vos fichiers ont été consultés récemment, il se peut que quelque chose de grave se produise. Veuillez contacter notre support utilisateurs.
Je constate des différences entre certains graphiques pour les espaces de mon groupe. S’agit-il d’un bug ?
Si vous faites spécifiquement référence aux différences dans la taille moyenne des fichiers entre Number of files & size distribution et Files sizes & size distribution, ceci n’est pas un bug.
Cela est dû au fait que la base utilisée pour l’échelle dans ces images est différente (1024 – un kilobyte – pour Files sizes and 1000 pour Number of files). Ceci est également amplifié par la moyenne RRDtool.
RRDtool est l’outil utilisé pour gérer les données statistiques et créer les graphiques.
Comment les types de fichiers sont-ils devinés ?
Les types de fichiers sont calculés à l’aide de la dernière partie du nom de fichier, également appelée extension. C’est la partie du nom de fichier après le dernier point (
.), le cas échéant.Pour certains types de fichiers, le processus essaie d’interpréter logiquement. Par exemple, un fichier nommé
Makefileest probablement un fichier de configuration du programmemake(1). Certaines extensions de nom de fichier sont supprimées des noms de fichiers car elles ne fournissent pas d’informations de type utiles. Ces extensions sont :.BAK,.bak,.back,.backup,.bck,.OLD,.old,.orig,.bz2,.gz,.Z,'(?:. \ d +) + $'(c’est-à-dire des fichiers avec un nom se terminant par.suivi d’un ou plusieurs chiffres).Plusieurs extensions de ce type consécutives sont également supprimées, par exemple :
toto.txt.bak.Zdeviendratoto.txt. Les catégories de fichier actuellement répertoriées sont les suivantes (les extensions des fichiers sont détaillées après le nom de la catégorie. Les parties italique présente dans les descriptions est du Perl regexp - c’est-à-dire PCRE - utilisé pour faire correspondre les noms de fichiers) :Tarballs (compressed or not), zip files : .tar, .tgz, .tbz2, .zip
Editor backup files, etc. : .bak, “/.+~$”, “/#[^/]+#$”
DNA analysis files : .blast, .fasta, .phr, .phy, .pin, .psq
C/C++ source files, ROOT C++ source code : .c, .C, .cc, .CC, .cpp, .cxx, .h, .H, .hh, .HH, .hpp, .hxx
CMT control files : .cmt, .cmtref, “^requirements$”
Configuration files : .cf, .cfg, .conf, .config, .ini
Core files : “^core(?:.d+)?$”
CVS control files : “/CVS/(?:Entries(?:.Log)?|Root|Repository|Tag|Template)$”
Undetermined data files : .dat, .data, .DAT, .DATA
(B)DB files : .db
Hidden files (a.k.a. dotfiles) : “^..+$”
DOSisms : .dll, .exe
FITS astronomical images : .fits, .fz, .head, .list
FORTRAN source files : .f, .F, .f77, .f90, .inc
HBook files : .hbk, .hbook
HTML/Web files : .css, .htm, .html, .js, .json
General purpose images : .GIF, .JPG, .PNG, .gif, .ico, .jpeg, .jpg, .png, .svg, .tga, .tif, .tiff, .xpm
Gravitational Waves Files (LIGO/Virgo) : .gwf
Java source files, bytecode and libraries : .class, .java, .jar, .jsp, .war
Libtool output and control files : .la, .la, .Po, .Plo, .Pla, “/.(?:lib|dep)s/^/]+$”
Log files : .LOG, .err, .log, .nok, .ok, .out, .output, .stderr, .stdout
Makefiles (make, GNU make, CMake, Imake, etc.) : .mk, .make, “^(?:(?:(?:GNU|I)?Mm]akefile(?:.(?:in|am)))|CMakeLists.txt)?$”
Object (compiled code) files : .o
Portable Document Format files : .PDF, .pdf
Perl source files including modules : .perl, .pl, .pm
PostScript files (including EPS) : .EPS, .PS, .eps, .ps
Python source files, compiled bytecode, pickle & Numpy files : .py, .pyc, .pyo, .npy, .pkl, .pickle
ROOT framework files : .d, .root
Misc scientific software (PAW, IDL, VTK, …) input or data files (HDF5, …) : .h5, .idl, .kumac, .mac, .pro, .vtk, .pdb, .pdbqt, .mol
Shell scripts : .awk, .bat, .batch, .bash, .cmd, .csh, .ksh, .sh, .s, .scr, .script, .tcsh, .zsh
Shared libraries (including versionned ones) : .so
Static libraries : .a
SVN control files : “/.svn/(?:[^/]+|(?:prop(?:s|-base)|text-base)/.+)$”
TCL source files : .tcl
TeX source and ouput files : .aux, .dvi, .fig, .lyx, .sty, .tex
Undetermined text files : .csv, .txt
Unknown or absent suffix/extension
XML et al (XSL, WSDL, …) : .dtd, .wsdl, .xml, .xsl, .xslt