Modifié par Bouvet, le 26 Apr 2012

Gestion de données




Les services qui permettent la gestion des fichiers sont le LFC (LCG File Catalog) et le SE (Storage Element).
Le LFC est une base de données qui contient l'association entre un identifiant et les localisations des fichiers dans la grille. Le SE fournit l'espace pour stocker les fichiers.



Tout les fichiers nécessaires se trouvent dans l'archive tutorial_materiel.tgz présent dans votre /home.


  1. Visualisez les informations concernant les ressources disponibles pour la VO vo.formation.idgrilles.fr.

Combien de SE sont diponibles ?

  1. Créez un fichier texte, et copiez-le sur un SE à l’aide de la commande lcg-cr .

Si l’option – d n’est pas spécifiée, la commande va utiliser le SE défini dans l’environnement par défaut de l'UI. Cette variable $DEFAULT_SE n'est pas toujours configurée.

La commande retourne un GUID qui pourra être utilisé pour manipuler le fichier.

  1. Vérifiez que le fichier copié est bien présent à l’aide de la commande lcg-lr .

Utilisez le LFN ou le GUID.

  1. On peut utiliser la commande lcg-lg pour trouver le GUID correspondant à un nom logique ou un SURL.


  1. Choisissez un SE dans la liste des SE disponibles, et faites une copie de votre fichier sur ce SE à l’aide de la commande lcg-rep .

Vérifiez que le fichier a bien été dupliqué avec la commande lcg-lr .

  1. Récupérez localement le fichier ou son replica à l’aide de la commande lcg-cp .

Vérifiez que la copie et le fichier original sont identiques.

  1. Supprimez ensuite le replica de ce fichier à l’aide de la commande lcg-del .
    Vérifiez avec la commande lcg-lr que ce replica n’existe plus.


  1. Supprimez pour finir l'autre replica de ce fichier à l'aide de la commande lcg-del .
    Vérifiez avec la commande lcg-lr qu'il n'existe plus de replica de ce fichier.

Les commandes clientes ne trouvent pas automatiquement le serveur LFC pour votre VO. Il est nécessaire de définir la variable d’environnement $ LFC_HOST .
Pour la VO vo.formation.idgrilles.fr, utilisée dans ce tutorial, le LFC utilisé est : lfc -egee.in2p3.fr

Normalement, on ne change pas le contenu de ce catalogue manuellement. Si on supprime une entrée dans le catalogue, on peut laisser des fichiers qui seront alors introuvables dans la grille. Les commandes clientes du LFC ne permettent donc pas de détruire une entrée dans le catalogue sans avoir détruit le fichier sur le SE.

  1. Utilisez la commande lfc-ls (et ses options) pour lister les fichiers de la VO vo.formation.idgrilles.fr.


  1. Le LFC supporte les ACL ( Access Control Lists ).

A chaque répertoire correspond 2 ACL : l’ACL pour le répertoire et une ACL par défaut. L’ACL par défaut est appliqué aux nouveaux fichiers du répertoire.

Normalement les commandes lcg -* mettent les bonnes permissions aux fichiers et répertoires.

Regarder les ACL de fichiers/répertoires avec la commande lfc-getacl .

  1. On peut créer une nouvelle arborescence avec lfc-mkdir .

Créez un nouveau répertoire et copiez-y un fichier.
Ensuite utilisez lcg-del et lfc-rm pour nettoyer le LFC.

  1. Regardez les fichiers InputData.jdl et InputData.sh .

Dans InputData.jdl , il y a trois nouvelles lignes qui permettent d’ordonnancer les jobs près des fichiers de données.
Modifiez le fichier InputData.jdl pour mettre le LFN de votre fichier.

  1. Affichez la liste des sites sur lesquels le job peut être soumis. Pourquoi est-elle si réduite ?


  1. Lancez ce job et vérifiez que le fichier est bien lu.





Accéder à des données depuis un script JDL

Le Logical File Name du fichier de données doit être indiqué dans le fichier jdl par le paramètre InputData :

InputData = "lfn:<LogicalFileName>";

Le protocole d'accès au fichier est donné par le paramètre DataAccessProtocol :

DataAccessProtocol = {"file", "gsiftp", "rfio"};

Le catalogue dans lequel est enregistré le fichier doit être indiqué par le paramètre DataCatalog :

DataCatalog = "http://lfc-egee.in2p3.fr:8085"

Listage d'informations

Infos générales :

~> lcg-infosites --vo vo.rocfr.in2p3.fr all

Lister les replicas d'un fichier répertorié :

~> lcg-lr --vo vo.rocfr.in2p3.fr lfn:<logicalFileName>
~> lcg-lr --vo vo.rocfr.in2p3.fr guid:<GUID>
~> lcg-lr --vo vo.rocfr.in2p3.fr <surl>

retourne le(s) surl (s) ou

~> lcg-lg --vo vo.rocfr.in2p3.fr lfn:<logicalFileName>

retourne le GUID.

Note : on peut indifféremment spécifier le surl ou le lfn pour désigner le fichier.

Copie de fichiers

Copier un fichier local sur la grille et l'enregsitrer dans le catalogue LFC :

~> export LFC_HOST=lfc-egee.in2p3.fr
~> lcg-cr --vo vo.rocfr.in2p3.fr -d <SEname> file://<cheminabsolu> -l lfn:<logicalFileName>

avec un LFN de la forme : / grid /< VOname >/< monlfn >

Duplication de fichiers

~> lcg-rep --vo vo.rocfr.in2p3.fr guid:<GUID> -d <SEName>
~> lcg-rep --vo vo.rocfr.in2p3.fr lfn:<logicalFileName> -d <SEName>
~> lcg-rep --vo vo.rocfr.in2p3.fr <surl> -d <SEName>

si l'option -d n'est pas spécifiée, la copie sera faite sur un SE choisi au hasard (souvent le SE le plus proche).

Suppression de fichiers

~> lcg-del --vo vo.rocfr.in2p3.fr guid:<fileguid> [ -s <SEName> | -a ]
~> lcg-del --vo vo.rocfr.in2p3.fr lfn:<logicalFileName> [ -s <SEName> | -a ]
~> lcg-del --vo vo.rocfr.in2p3.fr <surl> [ -s <SEName> | -a ] 

L’option –a permet de supprimer le fichier et tous ses replicas du tous les SE. L’entrée correspondante au GUID dans le catalogue LFC est alors détruite.

  • gestion_de_donnees.txt
  • Dernière modification: 2016/12/16 10:15
  • (modification externe)