Différences

Ci-dessous, les différences entre deux révisions de la page.

Lien vers cette vue comparative

amelioration_des_commandes_sge [2016/12/16 10:15] (Version actuelle)
Ligne 1: Ligne 1:
 +Modifié par Calvat, le 07 Feb 2014\\
 +\\
 +
 +====== Amélioration des commandes SGE ======
 +
 +\\
 +\\
 +
 +=====  Introduction ​ =====
 +
 +L'​activité de suivi de jobs par les personnels du centre (et les utilisateurs!!!) nécessite des commandes performantes. Les commandes SGE à disposition sont :
 +  * **qstat** pour les jobs running, pending et zombie
 +  * **qacct** pour les jobs ended
 +
 +Ces commandes ne sont pas cohérentes au niveau du nom des options d'une part et ne remonte qu'une partie des infos d'​autre part.\\
 +\\
 +La pauvreté de ces commandes empêche un suivi rigoureux des jobs au quotidien et sur de longue période. Il devient indispensable de réécrire ces commandes afin d'​uniformiser leur utilisation et de proposer de nouvelles fonctionnalités
 +=====  Stratégie de réecriture des commandes ​ =====
 +
 +
 +====  Disponibilité de ces commandes ​ ====
 +
 +Les commandes sont à disposition des équipes du centre de calcul. Elles sont installées dans le THRONG_DIR du ccin2p3. Elles sont écrites en python et le code est maintenu par Pascal Calvat. Elles n'ont pas vocation à être utilisées en dehors du centre. Elles doivent être considérées comme des scripts qui améliorent le quotidien. ​
 +====  Remplacement de la commande qstat  ====
 +
 +
 +===  myqstat ​ ===
 +
 +Cette commande reprend en partie les fonctionnalités de la commande qstat de SGE mais utilise le nommage des champs en accord avec la commande "man accounting"​.
 +<​code>​
 +>myqstat -h
 +
 +Usage: myqstat [options] cpu job_number io mem job_name hostname os owner priority project submission_time qname slots state state2 start_time task_number s_cpu s_fsize s_vmem category
 +
 +Extended/​enhanced qstat.
 +
 +Options:
 +  --version ​            show program'​s version number and exit
 +  -h, --help ​           show this help message and exit
 +  -s STATE, --state=STATE
 +                        Avaliable state: r, z, p - Default: r
 +  -u USER, --user=USER ​ User logon - Default: *
 +  -o OUTPUT, --output=OUTPUT
 +                        Store output into csv file
 +</​code>​
 +
 +====  Remplacement de la commande qacct  ====
 +
 +La commande qacct peut etre remplacée par une combinaison des commandes "​sge2sqlite"​ et "​querycsv"​\\
 +\\
 +La commande sge2sqlite créé une table nomméé "​job"​. Le nommage des champs en accord avec la commande "man accounting"​. ​
 +===  Jobs ended des 7 derniers jours  ===
 +
 +Génération du fichier sqlite
 +<​code>​
 +> sge2sqlite -o jobs.sqlite
 +</​code>​
 +Interrogation du fichier jobs.sqlite
 +<​code>​
 +> querycsv -u jobs.sqlite "​select * from job limit 1"
 +</​code>​
 +
 +===  Jobs ended pour un mois particulers ​ ===
 +
 +Génération du fichier sqlite
 +<​code>​
 +> sge2sqlite -i /​opt/​sge/​ccin2p3/​common/​accounting.2014.01 -o jobs.2014.01.sql
 +</​code>​
 +Attention cette commande peut prendre plusieurs minutes\\
 +\\
 +Interrogation du fichier jobs.2014.01.sql
 +<​code>​
 +> querycsv -u jobs.2014.01.sql "​select count(*) from job"
 +</​code>​
 +Lister les champs de la table job
 +<​code>​
 +> querycsv -u jobs.2014.01.sql ​ "​PRAGMA table_info(job)"​
 +</​code>​
 +
  
  • amelioration_des_commandes_sge.txt
  • Dernière modification: 2016/12/16 10:15
  • (modification externe)