Contabilização do PBS

Click here to see this page in english.

Introdução

O sistema PBS produz muitos arquivos com registros sendo que, basicamente, existem dois tipos de registros: arquivos de eventos que registra os eventos dos daemons e os arquivos de contabilidade onde são registradas informações sobre a utilização do sistema.

Os nomes dos arquivos de contabilidade são da seguinte forma aaaammdd, onde aaaa quer dizer o ano, mm o mês e dd o dia. Esses arquivos possuem informações sobre as tarefas executadas como: quem submeteu (usuário), o grupo do usuário, nome da tarefa, fila utilizada, tempo de CPU (solicitado e utilizado), tempo de walltime (solicitado e utilizado), etc.

Foram escritos dois programas que permitem gerar relatórios do sistema PBS:
pbs_accounting e o pacct.

Pbs_accounting

O programa basicamente consiste em dois arquivos:

mk_pbs_acct: script para selecionar os arquivos de contabilização;
pbs_accounting: programa que faz o relatório.

Instalação e Configuração:

Faça o download do programa pbs_accounting.0.8.1.tar.gz
Compile o programa digitando “make”
Copie o mk_pbs_acct e o pbs_accounting para /usr/local/sbin. Se copiar para outro diretório editar a variável PBS_ACCT_PRG no arquivo mk_pbs_acct.
Configurar as variáveis no arquivo mk_pbs_acct de acordo com o seu site, onde:

PBS_HOME local onde o PBS foi instalado

PBS_ACCT_DIR diretório onde o PBS cria os arquivos de log

PBS_ACCT_OUT diretório onde são armazenados os relatórios
Executando:
- Fazendo um relatório do mês:
  % mk_pbs_acct yyyymm
  exemplo:
  % mk_pbs_acct 200209 -> faz o relatório de setembro, 2002.
- fazendo relatório do mês corrente
  % mk_pbs_acct

Exemplos de Relatórios

*** Portable Batch System accounting statistics ***
Server Name: your.machine.edu

*** PBS Per-User Usage Report ***
User       Group     #Jobs     Wall-Hours      Nodes-Hours
__________________________________________________________
bino       nacad         6         0.0372           0.0692
dany       extern        1         0.0153           0.0306
john       acct          1         0.0006           0.0011
test       intern        1         0.0150           0.0300
test2      intern        1         1.3361           4.0083

*** PBS Per-Group Usage Report ***
Group     #Jobs     Wall-Hours      Nodes-Hours
_______________________________________________
acct          1         0.0006           0.0011
extern        1         0.0153           0.0306
intern        2         1.3511           4.0383
nacad         6         0.0372           0.0692

onde:
Wall-hours : walltime
Nodes-Hours: walltime * ncpus

pacct

Instalação e Configuração:

Faça o download do programa pacct-1.0.tar.gz
Compile e instale o programa digitando "make" e "make install"

Configurar as variáveis no arquivo mk_pacct de acordo com o seu site, onde:

PROGRAM_PATH	diretório onde o programa foi instalado (diretório default: /usr/local/sbin)
OPTIONS	opções do pacct que são descritas no item opções ou digitando "pacct -h"
PBS_ACCT_DIR	diretório onde o PBS cria os arquivos de log
OUTPUT	diretório onde são armazenados os relatórios

Para gerar um relatório mensal de utilização do cluster basta colocar no crontab a seguinte linha:
0 1 1 * * /usr/local/sbin/mk_pacct
Para remover a instalação basta digitar "make uninstall".

Opções

Sinopse: pacct [-a][-u][-g][-b value][-n opt][-c][-s][-h][file(s)]

-a	gera relatório de uso por usuário e grupo
-u	gera relatório de uso por usuário
-g	gera relatório de uso por grupo
-b value	custo por hora SBU (System Billing Unit), funciona junto com a opção -n)
-n opt	forma de cálculo de custo, opt=[0..3] 0: value * cputime 1: value * walltime (default) 2: value * cputime * ncpus per jobs 3: value * walltime * ncpus per jobs As opções 2 e 3 atendem as necessidades de um cluster, pois calculam o custo pelo número de CPUs utilizados em cada tarefa.
-c	gera relatório com informações de cputime, mas apenas se o sistema operacional suportar
-s	gera relatório com informações estatísticas
-h	mostra uma tela de ajuda

Exemplos de Relatórios

Relatório simples

# cat * | ./pacct -a
*** Portable Batch System accounting ***
Server Name: your.domain.edu.br

*** PBS Per-User Usage Report ***
User      Group     #Jobs    Wall(h)   Sum Wall(h)
bino      nacad        91    33.7547      154.5286
test      nacad         1     0.0011        0.0044

*** PBS Per-Group Usage Report ***
Group     #Jobs    Wall(h)   Sum Wall(h)
nacad        92    33.7558      154.5331

Relatório com custo embutido:

# cat * | ./pacct -a -b 10.00
*** Portable Batch System accounting ***
Server Name: your.domain.edu.br

*** PBS Per-User Usage Report ***
User      Group     #Jobs    Wall(h)   Sum Wall(h)           SBU
bino      nacad        91    33.7547      154.5286        337.55
cschaer   nacad         1     0.0011        0.0044          0.01

*** PBS Per-Group Usage Report ***
Group     #Jobs    Wall(h)   Sum Wall(h)           SBU
nacad        92    33.7558      154.5331        337.56

Relatório de custo para cluster:

# cat * | ./pacct -a -b 10.00 -n 3
*** Portable Batch System accounting ***
Server Name: your.domain.edu.br

*** PBS Per-User Usage Report ***
User      Group     #Jobs    Wall(h)   Sum Wall(h)           SBU
bino      nacad        91    33.7547      154.5286       1545.29
cschaer   nacad         1     0.0011        0.0044          0.04

*** PBS Per-Group Usage Report ***
Group     #Jobs    Wall(h)   Sum Wall(h)           SBU
nacad        92    33.7558      154.5331       1545.33

Relatório com informações estatísticas:

# ./pacct -g -s 200302

*** Portable Batch System accounting ***
Server Name: your.domain.edu.br

*** PBS Per-Group Usage Report ***
Group     #Jobs    Wall(h)  Av.Wall(h)  Av.#CPU   Sum Wall(h)
nacad        92    33.7558      0.3669      4.0      154.5331

Relatório com estatística e informações de CPU

# ./pactt -g -s -c 200302

*** Portable Batch System accounting ***
Server Name: your.domain.edu.br

*** PBS Per-Group Usage Report ***
Group     #Jobs    Wall(h)     CPU(h)  Efcy(%)  Av.Wall(h)  Av.CPU(h)  Av.#CPU   Sum Wall(h)   Sum CPU(h)
nacad        92    33.7558     0.3419     1.01      0.3669     0.0037      4.0      154.5331       0.3419

Contato

Albino Aveleda (bino@bino.eng.br)

PBS_HOME	local onde o PBS foi instalado
PBS_ACCT_DIR	diretório onde o PBS cria os arquivos de log
PBS_ACCT_OUT	diretório onde são armazenados os relatórios