Foro - Perl en Español

por **explorer** » 2013-03-16 16:43 @738

Al final, resulta que no es necesario almacenar nada, porque acabamos de enterarnos que usas Text::CSV::Slurp, y ese módulo ya devuelve toda la información almacenada en una estructura

Es normal que el bucle de la línea 34 no haga nada, porque... realmente no hace nada... (no estás dando la orden de borrado de elementos). Pero no importa: no es necesario borrar información porque el módulo que ha leído el csv ya tiene todo perfectamente almacenado.

Esta es una solución, siguiendo el esquema de cómo quieres que sea la salida: columnas separadas por un tabulador, siguiendo el orden de las métricas, servidores, y tiempos.

Con este programa:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/perl 
use v5.14;
use autodie;
use Text::CSV::Slurp;
use Data::Dumper;
 
####################################################################################
# Inicialización
####################################################################################
my @letras_servidores = 'A' .. 'R';
my @metricas = ('CPU Libre', 'SWAP Libre', 'RAM Libre');
 
 
####################################################################################
## Lectura del archivo
####################################################################################
@ARGV == 1 or die "Uso: $0 <archivo CSV a procesar>\n";
 
my $archivo_csv = shift;
 
-f $archivo_csv or die "ERROR: el archivo $archivo_csv no existe\n";
 
 
my $datos_ref = Text::CSV::Slurp->load(
        file       => $archivo_csv,
        sep_char   => ';',
        quote_char => '"'
);
 
#say Dumper $datos_ref; # mostraría estos datos
 
 
####################################################################################
## Salida
####################################################################################
say join "\t" => qw( Timestamp Valor Entidad Metrica );
 
for my $metrica (@metricas) {
 
    LETRA:
    for my $letra (@letras_servidores) {
 
        for my $linea_ref (@{$datos_ref}) {
            next LETRA if not exists $linea_ref->{"servidor $letra $metrica"};
 
            say
                join "\t" =>
                    $linea_ref->{'Tiempo'},
                    $linea_ref->{"servidor $letra $metrica"},
                    "servidor$letra",
                    $metrica,
            ;
 
        }
    }
}
 
__END__
Coloreado en 0.007 segundos,  usando GeSHi 1.0.8.4

si le pasamos fotoinicial.csv de un mensaje anterior que contenía métricas para dos servidores, sale

Sintáxis: [ Descargar ] [ Ocultar ]

Using text Syntax Highlighting

Timestamp       Valor   Entidad Metrica

8/03/13 12:15   92      servidorA       CPU Libre

8/03/13 12:20   97      servidorA       CPU Libre

8/03/13 12:25   96      servidorA       CPU Libre

8/03/13 12:30   93      servidorA       CPU Libre

8/03/13 12:35   97      servidorA       CPU Libre

8/03/13 12:40   97      servidorA       CPU Libre

8/03/13 12:45   96      servidorA       CPU Libre

8/03/13 12:50   97      servidorA       CPU Libre

8/03/13 12:55   94      servidorA       CPU Libre

8/03/13 13:00   97      servidorA       CPU Libre

8/03/13 13:05   98      servidorA       CPU Libre

8/03/13 13:10   94      servidorA       CPU Libre

8/03/13 13:15   96      servidorA       CPU Libre

8/03/13 13:20   98      servidorA       CPU Libre

8/03/13 13:25   96      servidorA       CPU Libre

8/03/13 13:30   97      servidorA       CPU Libre

8/03/13 12:15   92      servidorB       CPU Libre

8/03/13 12:20   97      servidorB       CPU Libre

8/03/13 12:25   96      servidorB       CPU Libre

8/03/13 12:30   93      servidorB       CPU Libre

8/03/13 12:35   97      servidorB       CPU Libre

8/03/13 12:40   97      servidorB       CPU Libre

8/03/13 12:45   96      servidorB       CPU Libre

8/03/13 12:50   97      servidorB       CPU Libre

8/03/13 12:55   94      servidorB       CPU Libre

8/03/13 13:00   97      servidorB       CPU Libre

8/03/13 13:05   98      servidorB       CPU Libre

8/03/13 13:10   94      servidorB       CPU Libre

8/03/13 13:15   96      servidorB       CPU Libre

8/03/13 13:20   98      servidorB       CPU Libre

8/03/13 13:25   96      servidorB       CPU Libre

8/03/13 13:30   97      servidorB       CPU Libre

8/03/13 12:15   95      servidorA       SWAP Libre

8/03/13 12:20   95      servidorA       SWAP Libre

8/03/13 12:25   95      servidorA       SWAP Libre

8/03/13 12:30   95      servidorA       SWAP Libre

...Coloreado en 0.000 segundos,  usando GeSHi 1.0.8.4

Hola, explorer, como siempre perfecto.

Copio el código completo con la salida a ficheros y alguna pequeña modificación para adecuarlos a la fotoOriginal (el tema de los nombres de los servidores). Te paso unas dudas:

1.- A veces la sonda que recoge las métricas falla, y aparece un "No hay datos" en el volcado "$linea_ref->{"$nombre $metrica"}"
¿cómo me podría saltar esa línea?

2.- ¿Dónde debería cambiar esta cabecera: "CPU % libre % CPU Libre", por ejemplo, por "CPU_%_libre" ¿Se puede hacer con los datos generados por el módulo Text::CSV::Slurp? Lo digo porque no he sido capaz

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/perl 
use v5.14;
use autodie;
use Text::CSV::Slurp;
use Data::Dumper;
####################################################################################
# Inicialización
####################################################################################
#my @letras_servidores = 'A' .. 'R';
my @nombre_servidores = ( 'trulf01', 'trulf02' );
my @metricas = (
        "CPU % libre % CPU Libre",
        "SWAP % libre % SWAP Libre",
        "RAM % libre % RAM Libre"
);
 
my $nodatos = 'No hay datos';
####################################################################################
## Lectura del archivo
####################################################################################
@ARGV == 1 or die "Uso: $0 <archivo CSV a procesar>\n";
my $archivo_csv = shift;
-f $archivo_csv or die "ERROR: el archivo $archivo_csv no existe\n";
 
my $datos_ref = Text::CSV::Slurp->load(
        file       => $archivo_csv,
        sep_char   => ';',
        quote_char => '"'
);
 
#say Dumper $datos_ref;    # mostraría estos datos
####################################################################################
## Salida Genera fichero csv formateado
####################################################################################
open my $csv, '>', "new.csv";
say $csv join ";" => qw( Timestamp Valor Entidad Metrica );
for my $metrica (@metricas)
{
  NOMBRE:
        for my $nombre (@nombre_servidores)
        {
                for my $linea_ref ( @{$datos_ref} )
                {
                        next NOMBRE
                          if not exists $linea_ref->{"$nombre $metrica"};
 
#A veces la sonda que recoge las metricas, falla, y aparece un "No hay datos" en el volcado
#Intente saltarme la linea con esta trozo de codigo, pero claro el salto es olimpico;-)
#next NOMBRE
# if $linea_ref->{"$nombre $metrica"} eq $nodatos;    # no funciona
 
                        say $csv join ";" => $linea_ref->{'Tiempo'},
                          $linea_ref->{"$nombre $metrica"}, $nombre,
                          $metrica,;
                }
        }
}
close $csv;
    __END__
 
Coloreado en 0.002 segundos,  usando GeSHi 1.0.8.4

Pongo también el fichero:

Sintáxis: [ Descargar ] [ Ocultar ]

Using text Syntax Highlighting

Tiempo;trulf01 CPU % libre % CPU Libre;trulf01 CPU % libre Round Trip Time;trulf01 CPU % libre Status;trulf01 SWAP % libre % SWAP Libre;trulf01 SWAP % libre Round Trip Time;trulf01 SWAP % libre Status;trulf01 RAM % libre % RAM Libre;trulf01 RAM % libre Round Trip Time;trulf01 RAM % libre Status;trulf02 CPU % libre % CPU Libre;trulf02 CPU % libre Round Trip Time;trulf02 CPU % libre Status;trulf02 RAM % libre % RAM Libre;trulf02 RAM % libre Round Trip Time;trulf02 RAM % libre Status;trulf02 SWAP % libre % SWAP Libre;trulf02 SWAP % libre Round Trip Time;trulf02 SWAP % libre Status
9/03/13 10:52;No hay datos;4 sec;0;93;0 sec;0;64;0 sec;0;94;4,02 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 10:57;No hay datos;4,02 sec;0;93;0 sec;0;64;0 sec;0;95;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 11:02;No hay datos;4,02 sec;0;93;0 sec;0;64;0 sec;0;94;4,02 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 11:07;No hay datos;4 sec;0;93;0 sec;0;64;0 sec;0;95;4,02 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 11:12;No hay datos;4,02 sec;0;93;0 sec;0;64;0 sec;0;95;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 11:17;No hay datos;4 sec;0;93;0 sec;0;64;0 sec;0;94;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 11:22;No hay datos;4 sec;0;93;0 sec;0;64;0 sec;0;95;4,02 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 11:27;No hay datos;4,02 sec;0;93;0 sec;0;64;0 sec;0;95;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 11:32;No hay datos;4 sec;0;93;0 sec;0;64;0 sec;0;93;4,02 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 11:37;96;4 sec;0;93;0 sec;0;64;0 sec;0;94;4,02 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 11:42;98;4,02 sec;0;93;0 sec;0;64;0 sec;0;93;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 11:47;94;4 sec;0;93;0 sec;0;64;0 sec;0;93;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 11:52;94;4 sec;0;93;0 sec;0;64;0 sec;0;95;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 11:57;97;4,02 sec;0;93;0 sec;0;64;0 sec;0;94;4,02 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 12:02;94;4 sec;0;93;0 sec;0;64;0 sec;0;94;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 12:07;92;4,02 sec;0;93;0 sec;0;64;0 sec;0;95;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 12:12;91;4 sec;0;93;0 sec;0;64;0 sec;0;94;4,02 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 12:17;97;4 sec;0;93;0 sec;0;64;0 sec;0;95;4,02 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 12:22;94;4 sec;0;93;0 sec;0;64;0 sec;0;94;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 12:27;96;4,02 sec;0;93;0 sec;0;64;0 sec;0;95;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 12:32;93;4 sec;0;93;0 sec;0;64;0 sec;0;88;4,02 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 12:37;97;4 sec;0;93;0 sec;0;64;0 sec;0;95;4,05 sec;0;61;0 sec;0;92;0,02 sec;0
9/03/13 12:42;98;4,02 sec;0;93;0 sec;0;64;0 sec;0;95;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 12:47;97;4 sec;0;93;0 sec;0;64;0 sec;0;95;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 12:52;97;4,02 sec;0;93;0 sec;0;64;0 sec;0;95;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 12:57;94;4,02 sec;0;93;0 sec;0;64;0 sec;0;94;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 13:02;94;4 sec;0;93;0 sec;0;64;0 sec;0;93;4,02 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 13:07;97;4 sec;0;93;0,05 sec;0;64;0 sec;0;95;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 13:12;97;4 sec;0;93;0 sec;0;64;0 sec;0;95;4,02 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 13:17;97;4 sec;0;93;0 sec;0;64;0 sec;0;93;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 13:22;98;4,02 sec;0;93;0 sec;0;64;0 sec;0;95;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 13:27;93;4,02 sec;0;93;0 sec;0;64;0 sec;0;94;4,02 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 13:32;94;4,02 sec;0;93;0 sec;0;64;0 sec;0;93;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 13:37;97;4,02 sec;0;93;0 sec;0;64;0 sec;0;95;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 13:42;98;4,02 sec;0;93;0 sec;0;64;0 sec;0;95;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 13:47;97;4 sec;0;93;0 sec;0;64;0 sec;0;94;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 13:52;94;4,02 sec;0;93;0 sec;0;64;0 sec;0;95;4 sec;0;61;0 sec;0;92;0 sec;0
9/03/13 13:57;94;4 sec;0;93;0 sec;0;64;0 sec;0;95;4 sec;0;61;0 sec;0;92;0 sec;0
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

por **tutoki** » 2013-03-17 20:52 @911

Hola, explorer, al final me decidí por Statistic::Lite

Este código pretende sacar el máximo, mínimo y media de cada 12 (son 12 a la hora) medidas de cada hora y esos tres valores meterlos en un array para luego poder hacer gráficos, etc. Estos tres valores van asociados al nombre de su Entidad y al Timestamp (24 h).

Como ejemplo la salida podría ser :

Sintáxis: [ Descargar ] [ Ocultar ]

Using text Syntax Highlighting

Timestamp Valor     Metrica     Entidad 

1           20      medio       trulf01

2           23      medio       trulf01

.

.

24

1           59      maximo      trulf01

2

.

.

24

1           12      minimo      trulf01   

2

.

24Coloreado en 0.000 segundos,  usando GeSHi 1.0.8.4

Lo que he avanzado:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/perl
use v5.14;
use autodie;
use Statistics::Lite qw(:all);
use Data::Dumper;
my @datos;
my %datos;
my @fechas;
my @valores;
####################################################################################
#   Lectura del fichero de entrada vía entrada estándar                            #
####################################################################################
my $csv_a_procesar = shift;    # es igual a  shift @ARGV
open my $fh, "<", $csv_a_procesar;
<$fh>; # nos saltamos la primera linea
while (<$fh>)
{
                chomp;                  # muerdo el retorno de carro final
                @datos = split (/;/); 
                push @fechas, $datos[0];
                push @valores, $datos[1];
                #$datos{ $datos[0] } = $datos[1];
 
}
say Dumper @valores;
say my $min= min (@valores), " minimo"; 
say my $count = count (@valores), " contador\t";
say my $max= max (@valores), " maximo\t";
say my $mean= mean (@valores), " media\t";
 
 
close $fh;
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

Adjunto un fichero para probar.

Gracias de antemano.

SALUD...

por **explorer** » 2013-03-18 18:05 @795

A mí sí que me funciona lo de 'No hay datos'

Te pongo una variación del programa que sí me funciona.

Una cosa: sería mejor que tuvieras claro qué quieres hacer, porque si no, vas cambiando de idea, y al final, no terminamos de resolverte el problema. Si desde el principio hubieras puesto el csv real, pues habríamos ahorrado tiempo... Bueno, es solo un consejo

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/perl 
use v5.14;
use autodie;
use Text::CSV::Slurp;
#use Data::Dumper;
 
####################################################################################
# Inicialización
####################################################################################
my @nombre_servidores = ( 'trulf01', 'trulf02' );
my %metricas = (                                           # transformaciones de métricas
        'CPU % libre % CPU Libre'       => 'CPU_%_libre',
        'SWAP % libre % SWAP Libre'     => 'SWP_%_libre',
        'RAM % libre % RAM Libre'       => 'RAM_%_libre',
);
my $nodatos = 'No hay datos';
 
 
####################################################################################
## Lectura del archivo
####################################################################################
@ARGV == 1 or die "Uso: $0 <archivo CSV a procesar>\n";
my $archivo_csv = shift;
-f $archivo_csv or die "ERROR: el archivo $archivo_csv no existe\n";
 
my $datos_ref = Text::CSV::Slurp->load(
        file       => $archivo_csv,
        sep_char   => ';',
        quote_char => '"'
);
 
#say Dumper $datos_ref;    # mostraría estos datos
 
 
####################################################################################
## Salida Genera fichero csv formateado
####################################################################################
open my $CSV, '>', 'new.csv';
 
say $CSV join ";" => qw( Timestamp Valor Entidad Metrica );
 
for my $metrica (sort keys %metricas) {
 
    NOMBRE:
    for my $nombre (@nombre_servidores) {
 
        for my $linea_ref (@{$datos_ref}) {
 
            next NOMBRE if not exists  $linea_ref->{"$nombre $metrica"};
            next        if $nodatos eq $linea_ref->{"$nombre $metrica"};
 
            say $CSV
                join ";" =>
                    $linea_ref->{'Tiempo'},
                    $linea_ref->{"$nombre $metrica"},
                    $nombre,
                    $metricas{$metrica},
            ;
        }
    }
}
 
close $CSV;
Coloreado en 0.002 segundos,  usando GeSHi 1.0.8.4

Del csv mostrado, me sale:

Sintáxis: [ Descargar ] [ Ocultar ]

Using text Syntax Highlighting

Timestamp;Valor;Entidad;Metrica

9/03/13 11:37;96;trulf01;CPU_%_libre

9/03/13 11:42;98;trulf01;CPU_%_libre

9/03/13 11:47;94;trulf01;CPU_%_libre

9/03/13 11:52;94;trulf01;CPU_%_libre

9/03/13 11:57;97;trulf01;CPU_%_libre

9/03/13 10:52;94;trulf02;CPU_%_libre

9/03/13 10:57;95;trulf02;CPU_%_libre

9/03/13 11:02;94;trulf02;CPU_%_libre

9/03/13 11:07;95;trulf02;CPU_%_libre

9/03/13 11:12;95;trulf02;CPU_%_libre

9/03/13 11:17;94;trulf02;CPU_%_libre

9/03/13 11:22;95;trulf02;CPU_%_libre

9/03/13 11:27;95;trulf02;CPU_%_libre

9/03/13 11:32;93;trulf02;CPU_%_libre

9/03/13 11:37;94;trulf02;CPU_%_libre

9/03/13 11:42;93;trulf02;CPU_%_libre

9/03/13 11:47;93;trulf02;CPU_%_libre

9/03/13 11:52;95;trulf02;CPU_%_libre

9/03/13 11:57;94;trulf02;CPU_%_libre

9/03/13 10:52;64;trulf01;RAM_%_libre

9/03/13 10:57;64;trulf01;RAM_%_libre

9/03/13 11:02;64;trulf01;RAM_%_libre

9/03/13 11:07;64;trulf01;RAM_%_libre

9/03/13 11:12;64;trulf01;RAM_%_libre

9/03/13 11:17;64;trulf01;RAM_%_libre

9/03/13 11:22;64;trulf01;RAM_%_libre

9/03/13 11:27;64;trulf01;RAM_%_libre

9/03/13 11:32;64;trulf01;RAM_%_libre

9/03/13 11:37;64;trulf01;RAM_%_libre

9/03/13 11:42;64;trulf01;RAM_%_libre

9/03/13 11:47;64;trulf01;RAM_%_libre

9/03/13 11:52;64;trulf01;RAM_%_libre

9/03/13 11:57;64;trulf01;RAM_%_libre

9/03/13 10:52;61;trulf02;RAM_%_libre

9/03/13 10:57;61;trulf02;RAM_%_libre

9/03/13 11:02;61;trulf02;RAM_%_libre

9/03/13 11:07;61;trulf02;RAM_%_libre

9/03/13 11:12;61;trulf02;RAM_%_libre

9/03/13 11:17;61;trulf02;RAM_%_libre

9/03/13 11:22;61;trulf02;RAM_%_libre

9/03/13 11:27;61;trulf02;RAM_%_libre

9/03/13 11:32;61;trulf02;RAM_%_libre

9/03/13 11:37;61;trulf02;RAM_%_libre

9/03/13 11:42;61;trulf02;RAM_%_libre

9/03/13 11:47;61;trulf02;RAM_%_libre

9/03/13 11:52;61;trulf02;RAM_%_libre

9/03/13 11:57;61;trulf02;RAM_%_libre

...Coloreado en 0.000 segundos,  usando GeSHi 1.0.8.4

y ya se ve que las líneas sin datos no salen, y que las métricas han cambiado.

por **explorer** » 2013-03-18 19:27 @852

¡Vaya! Ahora nos reencontramos con la salida del otro programa

Lo dicho: sería mejor tener una idea clara, antes, de todo el proceso, pues, a lo mejor, los dos programas/problemas se pueden realizar/resolver en uno solo

Bueno, no pasa nada por trocear un problema grande en otros más pequeños, pero no es tan efectivo como tenerlo todo en uno solo. Incluso la realización de las gráficas se puede hacer también con Perl (hay varias bibliotecas para la creación de este tipo de gráficos, como la GD::Simple, o usar herramientas prefabricadas como RDD o MRTG (también hay módulos para hablar con ellas) que generan gráficas muy completas.

He encontrado otro módulo para hacer estadísticas, que es más moderno, aunque depende de más módulos: Statistics::Basic.

por **tutoki** » 2013-03-19 13:34 @607

Hola, explorer. Tienes razón, intento poner ejemplo sencillos para que se entienda lo que quiero hacer y posiblemente termine mareando al personal. Intentaré que no vuelva a ocurrir.

Jope, era fácil el cambio de las cabeceras.

Respecto al tema del campo que "No hay datos", no funciona. Ojo: no funciona desde el punto de vista que nos comemos datos, es decir, para el servidor trulf01, hay valores de CPU_%_libre que deben tratarse. En el archivo de ejemplo (el último csv enviado), desde las líneas 11 al 15, son datos buenos que deben de ser tratados.

La idea es que se borren las líneas (horizontales) que contengan el campo "No hay datos".

SALUD...

por **tutoki** » 2013-03-19 13:58 @623

Hola, explorer.

Para bien o para mal, trabajo de modo modular. Si solo tuviera una fuente de datos, todo sería más fácil.

RECOJO DATOS - INTERPRETACIÓN - GENERO XML - MONTAJE HTML - COMPRIMO - ENVIO POR CORREO o SCP

Desde GENERO XML (incluido) no hago cambio importantes en el código. Son como librerías. El problema viene cuando me llegan cvs (formato) que GENERO XML no sabe tratar. Ni qué decir tiene que este módulo me ayudaste a crearlo tu.

Y es aquí donde nos encontramos con un nuevo tipo de formato que tiene que ver con este hilo y el otro al que hacer referencia.

Para la visualiazión utilizo FusionChart. ¡Ojo!, no genero imágenes sino archivos XML que luego computo en el momento de abrir el HTML. Estos gráficos están vivos, NO son imágenes, tooltip, leyendas, drilldown. No he encontrado nada mejor que esto. Mucho Javacript.

El problema de generar gráficos nos lleva a otro problema que es la cantidad de datos a tratar, imagina datos cada 5 minutos. CPU, memoria y swap son 3 x 5 x 12 x 24 x 30 días al mes, multiplícalo por cada servidor y..., por eso lo de generar medias, máximos y mínimos en la INTERPRETACIÓN.

Espero haber aclarado el tema. Cualquier duda, coméntamela, por favor.

SALUD...

por **explorer** » 2013-03-19 14:29 @645

tutoki escribiste:Respecto al tema del campo que "No hay datos", no funciona. Ojo: no funciona desde el punto de vista que nos comemos datos, es decir, para el servidor trulf01, hay valores de CPU_%_libre que deben tratarse. En el archivo de ejemplo (el último csv enviado), desde las líneas 11 al 15, son datos buenos que deben de ser tratados.

¡Ah!, cierto.

Ya he reeditado el programa y ya salen las líneas buenas.

por **tutoki** » 2013-03-19 17:26 @768

Perfecto, gracias.

SALUD...

por **tutoki** » 2013-03-23 19:41 @862

Copio esta nueva aproximación a lo que busco. Aunque supongo que se puede hacer de muchas maneras el programa tal cual saca medias por hora, agrupa datos, en este caso de 12 en 12 (hay 12 valores por hora) y saca el máximo, el mínimo y la media de cada agrupación, luego debe de mostrar esos datos.

¿Es mejorable? ¿Qué os parece? ¿Sería más fácil hacerlo con otros módulos?

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/perl 
use v5.14;
use autodie;
use Statistics::Lite qw(:all);
use Data::Dumper;
my @datos;
my %datos;
my (@Timestamp, @Valor, @Entidad, @Metrica); # Cabeceras
my (@min, @count, @max, @mean); # Estadísticas
my $GRUPO = 12; # Constante de agrupación de Valor
my @operadores = (
        "minimo",
        "maximo",
        "media"
        );
#my $cont;
####################################################################################
#   Lectura del fichero de entrada vía entrada estándar                            #
####################################################################################
my $csv_a_procesar = shift;    # es igual a  shift @ARGV
open my $fh, "<", $csv_a_procesar;
<$fh>;                         # nos saltamos la primera línea
while ( my $input = <$fh> )
{
 
 # do { $line = <IN> } until $. ==  1  or  eof;  # nos saltamos la primera línea
        chomp $input;
 
        #if ( $input =~ /\D/ ){next;}
        @datos = split( /;/, $input );
 
        push( @Timestamp,$datos[0] );
        push( @Valor,    $datos[1] );
        push( @Entidad,  $datos[2] );
        push( @Metrica,  $datos[3] );
        
}
 
#say Dumper (@Valor);
        my $i = 0;
        my $o = $GRUPO - 1;
for (my $f = 0; $f <= $#Valor; $f += $GRUPO) {
        # discrimino el último bucle si no existen los doce datos a operar
        if ($GRUPO <= $#Valor) {
        push @min,   min(@Valor[$i..$o]); # 0..12 , 13..
        push @count, count(@Valor[$i..$o]);
        push @max,   max(@Valor[$i..$o]);
        #push @mean,  mean(@Valor[$i..$o]);
        push @mean,  sprintf ("%d", (mean(@Valor[$i..$o])) + 0.5); # redondeo
 
        $i += $GRUPO;
        $o += $GRUPO;
        #$cont += 1;
        }
}
close $fh;
 
say join "\t" => 'minimos', @min;
say join "\t" => 'maximos', @max;
#say 'contadores';
#say join "\t" => @count;
say join "\t" => 'medias', @mean;
Coloreado en 0.002 segundos,  usando GeSHi 1.0.8.4

Aparte el programa tiene un pequeño agujero: se basa en que el fichero origen sea perfecto, es decir, si por algún motivo no tuviera doce valores por hora pues... los resultado aunque ciertos estaría fuera del rango por hora que era el fin del programa.

Lo que se me está complicando es el formato de salida de los datos. No me sale. Os anexo tanto el fichero original con datos y el final que es como quiero que me salga.

Echarme un cable, por favor.

Gracias de antemano.

SALUD...

salida_final.csv: salida de datos; (2.09 KiB) 62 veces

entrada.csv: Entrada de datos; (6.97 KiB) 53 veces

Hola a todos,

Foro - Perl en Español

Módulos para sacar promedios, valor más alto, más bajo.

Re: Cambiar las columnas de una tabla (archivo csv)

Publicidad

Re: Cambiar las columnas de una tabla (archivo csv)

Re: Módulos para sacar promedios, valor más alto, más bajo.

Re: Cambiar las columnas de una tabla (archivo csv)

Re: Módulos para sacar promedios, valor más alto, más bajo.

Re: Cambiar las columnas de una tabla (archivo csv)

Re: Módulos para sacar promedios, valor más alto, más bajo.

Re: Cambiar las columnas de una tabla (archivo csv)

Re: Cambiar las columnas de una tabla (archivo csv)

Re: Módulos para sacar promedios, valor más alto, más bajo.

¿Quién está conectado?