Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

gestion_de_donnees [2016/12/16 10:15] (Version actuelle)
Ligne 1: Ligne 1:
 +Modifié par Bouvet, le 26 Apr 2012\\
 +\\
 +
 +====== Gestion de données ======
 +
 +\\
 +\\
 +
 +
 +----
 +
 +Les services qui permettent la gestion des fichiers sont le LFC (LCG File Catalog) et le SE (Storage Element).\\
 +Le LFC est une base de données qui contient l'​association entre un identifiant et les localisations des fichiers dans la grille. Le SE fournit l'​espace pour stocker les fichiers.
 +
 +----
 +
 +
 +----
 +
 +**Tout les fichiers nécessaires se trouvent dans l'​archive tutorial_materiel.tgz présent dans votre /home.**
 +
 +----
 +
 +
 +=====  Utilisation du Replica Manager =====
 +
 +  - Visualisez les informations concernant les ressources disponibles pour la VO vo.formation.idgrilles.fr.\\
 +Combien de SE sont diponibles ?\\
 +\\
 +
 +  - Créez un fichier texte, et copiez-le sur un SE à l’aide de la commande ** lcg-cr ** .\\
 +** ** Si l’option ​ – d  n’est pas spécifiée,​ la commande va utiliser le SE défini dans l’environnement par défaut de l'UI. Cette variable $DEFAULT_SE n'est pas toujours configurée.\\
 +\\
 +La commande retourne un GUID qui pourra être utilisé pour manipuler le fichier.\\
 +\\
 +
 +  - Vérifiez que le fichier copié est bien présent à l’aide de la commande ** lcg-lr . **\\
 +Utilisez le LFN ou le GUID.\\
 +\\
 +
 +  - On peut utiliser la commande ** lcg-lg ** pour trouver le GUID correspondant à un nom logique ou un SURL.\\
 +\\
 +
 +  - Choisissez un SE dans la liste des SE disponibles,​ et faites une copie de votre fichier sur ce SE à l’aide de la commande ** lcg-rep ** .\\
 +Vérifiez que le fichier a bien été dupliqué avec la commande ** lcg-lr ** .\\
 +\\
 +
 +  - Récupérez localement le fichier ou son replica à l’aide de la commande ** lcg-cp ** .\\
 +Vérifiez que la copie et le fichier original sont identiques.\\
 +\\
 +
 +  - Supprimez ensuite le replica de ce fichier à l’aide de la commande ** lcg-del .\\
 +** Vérifiez avec la commande ** lcg-lr ** que ce replica n’existe plus.\\
 +\\
 +
 +  - Supprimez pour finir l'​autre replica de ce fichier à l'aide de la commande ** lcg-del .\\
 +** Vérifiez avec la commande ** lcg-lr ** qu'il n'​existe plus de replica de ce fichier.\\
 +
 +
 +
 +=====  Regarder les informations dans le LFC =====
 +
 +Les commandes clientes ne trouvent pas automatiquement le serveur LFC pour votre VO. Il est nécessaire de définir la variable d’environnement ​ $ LFC_HOST ​ .\\
 +Pour la VO vo.formation.idgrilles.fr,​ utilisée dans ce tutorial, le LFC utilisé est : ​ lfc -egee.in2p3.fr ​
 +
 +Normalement,​ on ne change pas le contenu de ce catalogue manuellement. Si on supprime une entrée dans le catalogue, on peut laisser des fichiers qui seront alors introuvables dans la grille. Les commandes clientes du LFC ne permettent donc pas de détruire une entrée dans le catalogue sans avoir détruit le fichier sur le SE.
 +
 +  - Utilisez la commande ** lfc-ls ** (et ses options) pour lister les fichiers de la VO vo.formation.idgrilles.fr.\\
 +\\
 +
 +  - Le LFC supporte les ACL ( //Access Control Lists// ).\\
 +A chaque répertoire correspond 2 ACL : l’ACL pour le répertoire et une ACL par défaut. L’ACL par défaut est appliqué aux nouveaux fichiers du répertoire.\\
 +\\
 +Normalement les commandes ** lcg -* ** mettent les bonnes permissions aux fichiers et répertoires.\\
 +\\
 +Regarder les ACL de fichiers/​répertoires avec la commande ** lfc-getacl ** .\\
 +\\
 +
 +  - On peut créer une nouvelle arborescence avec ** lfc-mkdir ** .\\
 +Créez un nouveau répertoire et copiez-y un fichier.\\
 +Ensuite utilisez ** lcg-del ** et ** lfc-rm ** pour nettoyer le LFC.
 +
 +
 +=====   Accéder depuis un job à des données stockées =====
 +
 +  - Regardez les fichiers //​InputData.jdl//​ et //  InputData.sh//​ .\\
 +Dans //​InputData.jdl//​ , il y a trois nouvelles lignes qui permettent d’ordonnancer les jobs près des fichiers de données.\\
 +Modifiez le fichier //​InputData.jdl//​ pour mettre le LFN de votre fichier.\\
 +\\
 +
 +  - Affichez la liste des sites sur lesquels le job peut être soumis. Pourquoi est-elle si réduite ?​\\
 +\\
 +
 +  - Lancez ce job et vérifiez que le fichier est bien lu.
 +
 +
 +----
 +
 +
 +----
 +
 +\\
 +
 +
 +----
 +
 +
 +----
 +
 +
 +=====  Outils / Aide =====
 +
 +
 +====  Accéder à des données depuis un script JDL ====
 +
 +Le  Logical ​ File  Name  du fichier de données doit être indiqué dans le fichier ​ jdl  par le paramètre ​ InputData ​ :
 +
 +<​code>​
 +InputData = "​lfn:<​LogicalFileName>";​
 +</​code>​
 +Le protocole d'​accès au fichier est donné par le paramètre ​ DataAccessProtocol ​ :
 +
 +<​code>​
 +DataAccessProtocol = {"​file",​ "​gsiftp",​ "​rfio"​};​
 +</​code>​
 +Le catalogue dans lequel est enregistré le fichier doit être indiqué par le paramètre DataCatalog :
 +
 +<​code>​
 +DataCatalog = "​http://​lfc-egee.in2p3.fr:​8085"​
 +</​code>​
 +
 +====  Listage d'​informations ====
 +
 +Infos générales :
 +
 +<​code>​
 +~> lcg-infosites --vo vo.rocfr.in2p3.fr all
 +</​code>​
 +Lister les  replicas ​ d'un fichier répertorié ​ : 
 +
 +<​code>​
 +~> lcg-lr --vo vo.rocfr.in2p3.fr lfn:<​logicalFileName>​
 +~> lcg-lr --vo vo.rocfr.in2p3.fr guid:<​GUID>​
 +~> lcg-lr --vo vo.rocfr.in2p3.fr <​surl>​
 +</​code>​
 + ​retourne ​ le(s)  surl  (s) ou
 +
 +<​code>​
 +~> lcg-lg --vo vo.rocfr.in2p3.fr lfn:<​logicalFileName>​
 +</​code>​
 + ​retourne ​ le GUID.\\
 +\\
 +//**Note** **:** on// //peut indifféremment spécifier le  surl  ou le  lfn  pour désigner le fichier.//
 +
 +
 +====  Copie de fichiers ====
 +
 +Copier un fichier local sur la grille et l'​enregsitrer dans le catalogue LFC :
 +
 +<​code>​
 +~> export LFC_HOST=lfc-egee.in2p3.fr
 +~> lcg-cr --vo vo.rocfr.in2p3.fr -d <​SEname>​ file://<​cheminabsolu>​ -l lfn:<​logicalFileName>​
 +</​code>​
 + ​avec ​ un LFN de la forme : ** /  grid  /<  VOname ​ >/< ​ monlfn ​ > **   
 +====  Duplication de fichiers ====
 +
 +<​code>​
 +~> lcg-rep --vo vo.rocfr.in2p3.fr guid:<​GUID>​ -d <​SEName>​
 +~> lcg-rep --vo vo.rocfr.in2p3.fr lfn:<​logicalFileName>​ -d <​SEName>​
 +~> lcg-rep --vo vo.rocfr.in2p3.fr <​surl>​ -d <​SEName>​
 +</​code>​
 + ​si ​ l'​option -d n'est pas spécifiée,​ la copie sera faite sur un SE choisi au hasard (souvent le SE le plus proche).
 +
 +
 +====   ​Suppression de  fichiers ​  ====
 +
 +<​code>​
 +~> lcg-del --vo vo.rocfr.in2p3.fr guid:<​fileguid>​ [ -s <​SEName>​ | -a ]
 +~> lcg-del --vo vo.rocfr.in2p3.fr lfn:<​logicalFileName>​ [ -s <​SEName>​ | -a ]
 +~> lcg-del --vo vo.rocfr.in2p3.fr <​surl>​ [ -s <​SEName>​ | -a ] 
 +</​code>​
 +L’option –a permet de supprimer le fichier et tous ses  replicas ​ du tous les SE. L’entrée correspondante au GUID dans le catalogue LFC est alors détruite.
 +
 +
  
  • gestion_de_donnees.txt
  • Dernière modification: 2016/12/16 10:15
  • (modification externe)