Foro - Perl en Español

por **mgonzalez** » 2010-11-09 08:58 @415

Hola.

Este problema lo he planteado antes. Se trata de un aplicación CGI que ejecuta recurrentemente una consulta SQL, dicha consulta está en un método de una clase. Leyendo por ahí vi un caso en que se estaba tratando de insertar muchos registros en una BBDD, pero que solo ingresaba una pequeña parte: http://www.forosdelweb.com/f12/insertando-multiples-registros-con-mysql-512695/. Aquí se le recomienda usar la función finish(), que traté de usar pero no logro superar el problema.

Aquí va el código del método del que hablo.

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

sub preparar
{
     my $self = shift;
     my $tipo = shift;
     my $visualizacion = shift;
 
#    $tipo = ($tipo) ?$tipo : 1;
    $tipo ||= 1;
 
    print start_table({-width=>'100%'}) if (! $visualizacion);
         
    my $personal = $dbh->selectall_arrayref("Select a.id From Personas2 a Where exists (select 1 from atributos b where a.id = b.cod_atributo and b.ind_proc_docto = $self->{ind_proc_doc} And b.id_tipo_atributo = $tipo and b.id_dueno = $self->{dueno})", { Slice => {} } ) || die $self->error($self->{dbh}->errstr);
        # Personas2 es una vista de una tabla en otra BBDD, pero en el mismo servidor.
 
    my $pers_resp=0;
    my @array;
        foreach my $pers (@$personal){
        my $emp = new SBMP::Empleado($pers->{id});
        if ($visualizacion){
            push @array,&fixcase($emp->nombre);
        } else {
            print Tr(
                        td({-class=>"bordercell", -width=>'100%'},&fixcase($emp->nombre))
                    )."\n";
            $pers_resp++;
        }
    }
     if ($visualizacion){
        return join " ; ", @array;
    } else {
        print end_table();
        print hidden('tot_pers',$pers_resp);
    }
                #aqui agregue esta sentencia, pero sin resultados
        $personal->finish;
 
}
Coloreado en 0.003 segundos,  usando GeSHi 1.0.8.4

Adicionalmente hay que agregar que se trata de SqlServer 7.0... también por ahí he investigado que esta BBDD va acumulando las sesiones y en este caso, como se trata de un método que es llamado persistentemente, debería ser el problema. Sin embargo haciendo pruebas, no tengo claro si el problema pasa por SqlServer o por Perl.

Muchas Gracias

¿Has puesto

$|=1;

al principio del CGI?

Hablas de un cuelgue, pero no se ve nada raro en el código... ¿No será que lo que pasa, realmente, es un tiempo agotado (timeout)? ¿Sale algo en los registros (log) de actividad del servidor web?

Debes identificar qué parte es la que provoca el agotamiento del tiempo disponible. Yo veo dos: el tiempo que tarda en resolverse la consulta, y el tiempo de creación de los objetos SBMP::Empleado. Digo que sospecho que son esos, porque todo lo demás veo que no ocupa tiempo.

por **mgonzalez** » 2010-11-09 12:59 @582

Muchísimas Gracias por tu respuesta.

Cuéntame para qué es $|=1;

Sí, definitivamente es timeout, lo malo de todo esto es que no me permiten mover nada en la configuración de servidor, por ejemplo el tiempo de espera del IIS.

Al hacer pruebas y comentar este trozo de código el asunto anda bien. Así es que ahí empezó la investigación en lo que ocurre dentro del método. En este sentido, lo primero que hice fue optimizar al máximo la consulta.

Puede que el asunto esté en el objeto SBMP::Empleado. Sin embargo, el código que ejecuta es super simple:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

sub new {
 
my ($class, $id) = @_;
my $self;
#esta parte del codigo la comente, tratando de optimizar.
# if ($id =~ /\d+$/){
    # $self = &select_hash("select tbl_empleado.*, Usuarios_new.Usuario from usuarios_new, tbl_empleado
                # where id_persona = $id and tbl_empleado.id = usuarios_new.id_persona");
# } else {
    # $self = &select_hash("select tbl_empleado.*, Usuarios_new.Usuario from usuarios_new, tbl_empleado
                # where usuario = ".$dbh->quote($id) ."and tbl_empleado.id = usuarios_new.id_persona");
# }
 
if ($id =~ /\d+$/){
    $self = &select_hash("select nombres, apaterno, amaterno from usuarios_new2 a, tbl_empleado2 b
                where a.id_persona = $id and b.id = a.id_persona");
} else {
    $self = &select_hash("select tbl_empleado2.*, Usuarios_new2.Usuario from usuarios_new2, tbl_empleado2
                where usuario = ".$dbh->quote($id) ."and tbl_empleado2.id = usuarios_new2.id_persona");
 
}
 
#print Dumper $self;
return $self ? bless $self : undef;
 
}
 
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

El mensaje que envía es el siguiente:

Sintáxis: [ Descargar ] [ Ocultar ]

Using text Syntax Highlighting

HTTP/1.1 502 Error de la puerta de enlace o gateway Server: Microsoft-IIS/5.0 Date: Tue, 09 Nov 2010 18:10:45 GMT Content-Length: 199 Content-Type: text/html 

Caducidad CGI

La aplicación CGI especificada ha excedido el tiempo permitido para procesamiento. El servidor ha eliminado el proceso.Coloreado en 0.000 segundos,  usando GeSHi 1.0.8.4

Gracias nuevamente.

por **explorer** » 2010-11-09 16:44 @739

El $| controla el caché de salida. Si lo pones a un valor distinto de cero, desactivas el caché, por lo que todo print() sale inmediatamente (y no cuando se llenen los buffers de salida). De esa manera, si se va generando las filas de la tabla de forma muy lenta, con este método, al menos, vamos enviando información poco a poco al usuario.

Pero aquí, el problema no es mantener la conexión con el usuario, sino que el CGI está demasiado tiempo funcionando.

Como supongo que estás en Windows, uno de los problemas de Perl en Windows es el desastroso sistema de gestión de reserva de memoria. Puede llegar a ser 4 órdenes de magnitud más lento que el mismo programa en LInux (décimas de segundos en Linux, decenas de minutos en Windows).

Además, existe el problema de que si la consulta devuelve mucha información, puede llenar la memoria RAM del servidor, y entonces, comenzar la máquina a usar la swap. Esto lo viví una vez y era desastroso ver que un trabajo que ->la misma<- máquina, en Linux, lo resolvía en menos de 3 segundos, se traducía en casi media hora de espera, en Windows.

La solución fue dividir la consulta SQL en otras pequeñas, y hacer que la operación de join()/filtrado, la hiciese el propio Perl. Primero se comprobó que había memoria suficiente para que Perl recuperase todos los registros interesantes. Y luego, ya con toda la información en memoria, filtrar los que realmente nos interesaban.

Si SQLServer tiene soporte de LIMIT, podrías hacer pruebas para recuperar solo un cierto número de peticiones, y así, medir cuánto tiempo tarda en recuperarlos.

El cuello de botella puede estar en muchos sitperfectrijilloios... el controlador ODBC, el propio motor de base de datos, el número de registros, la complejidad de la consulta (el número de join() afecta bastante), el tamaño de la memoria RAM... No creo que el cuello de botella esté en el IIS, aunque nunca lo he controlado. Y no creo que tampoco sea Perl, porque no he leído nada al respecto.

Luego, en Internet, te encuentras con recomendaciones, como ésta donde recomiendan el buen uso de los índices de las tablas, para aumentar la velocidad.

por **mgonzalez** » 2010-11-11 16:12 @716

Me imaginé que el servidor de aplicación tenía algo que ver, pero, ¿por qué pasa con Perl y no con PHP, por ejemplo...? De hecho, hay una aplicación en PHP que vuela en esa máquina... Ahora, esta consulta está optimizada al máximo, y todas las que les antecede.

Bueno, muchísimas gracias por tu respuesta.
¡¡Saludos!!

por **explorer** » 2010-11-11 19:13 @842

La parte del programa que has publicado, en el primer mensaje, tiene dos partes claramente separadas: la de la consulta y la de la generación de la presentación a partir de la consulta.

De las dos partes, sería interesante ver en cuál se pierde más tiempo. Lo podrías saber con, simplemente, unos print() que sacarán el tiempo que ha tardado cada parte en realizarse.

Algo así: al principio del programa importamos el módulo Time::HiRes:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

use Time::HiRes'time';Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

y ahora ya podemos tomar mediciones de tiempo, en segundos, con precisión de milisegundos.

Vamos al código, y una línea antes de la consulta, ponemos

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

my $antes = time();   # toma el tiempo en este momento
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

y en el otro extremo, pintamos el tiempo que ha tardado en resolverse la consulta

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

print "Tiempo de la consulta (s): ", time()-$antes;
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

Lo mismo podemos hacer para la parte de la representación. Obtendremos, en pantalla, el tiempo que tarda en ejecutarse cada parte (bueno, como esto es un CGI, habría que adaptarlo para que saliera de forma correcta en el HTML de la página generada o en los logs de actividad del servidor web. Para este último caso, usar warn() en lugar de print()).

Mirando con más calma la función, hay alguna cosa que se puede mejorar. Por ejemplo, parece que es muy distinto el código según tengamos un valor de $visualización u otro.

Lo que podemos hacer es sacar las distintas sentencias de bifurcación y crear una sola.

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

sub preparar
{
     my $self           = shift;
     my $tipo           = shift;
     my $visualizacion  = shift;
 
    $tipo ||= 1;
 
    ## Consulta
    my $antes = time();
 
        # Personas2 es una vista de una tabla en otra BBDD,
        # pero en el mismo servidor
        my $personal
            = $dbh->selectall_arrayref("
                Select
                    a.id
                From
                    Personas2 a
                Where
                    exists (
                        select
                            1
                        from
                            atributos b
                        where
                            a.id = b.cod_atributo
                        and
                            b.ind_proc_docto = $self->{ind_proc_doc}
                        and
                            b.id_tipo_atributo = $tipo
                        and
                            b.id_dueno = $self->{dueno}
                    )
                ",
                { Slice => {} }
            )
            or
                die $self->error($self->{dbh}->errstr)
            ;
 
    warn "Tiempo de la consulta (s): ", time() - $antes;
 
    ## Formateo
    $antes = time();
 
        # Leemos el personal y arreglamos sus nombres
        my @array;
        foreach my $pers (@$personal) {
            my $emp = new SBMP::Empleado($pers->{id});
            push @array, &fixcase($emp->nombre);
        }
 
    warn "Tiempo de formateo (s): ", time() - $antes;
 
    ## Presentación
    $antes = time();
 
        if ($visualizacion) {
            return 
                join " ; ", @array;
        }
        else {
            print start_table({-width=>'100%'});
 
            foreach my $pers (@array){
                print
                    Tr(
                        td({-class=>"bordercell", -width=>'100%'}, $pers)
                    )
                    , "\n"
                    ;  
            }
 
            print
                end_table(),
                hidden('tot_pers', scalar @array)
                ;
        }
 
    warn "Tiempo de presentación (s): ", time() - $antes;
 
}
Coloreado en 0.002 segundos,  usando GeSHi 1.0.8.4

(Nota: que se pueda escribir, o no, la consulta SQL de esta manera, en varias líneas, depende del motor de base de datos que estemos usando).

Como ves, hemos simplificado mucho el código, dejando solo una sentencia condicional.

Por otra parte, aunque no soy nada experto en SQL, estoy sospechando que la consulta se puede simplificar en:

Sintáxis: [ Descargar ] [ Ocultar ]

Using sql Syntax Highlighting

SELECT

                    a.id
FROM

                    Personas2 a, atributos b
WHERE

                        a.id = b.cod_atributo
AND

                        b.ind_proc_docto = $self->{ind_proc_doc}
AND

                        b.id_tipo_atributo = $tipo
AND

                        b.id_dueno = $self->{dueno}Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

Y, finalmente, de la creación de los objetos SBMP::Empleado, me parece que puede simplificarse esas consultas, si obtenemos los nombres de las personas por adelantado.

O, si sabemos que hay muchas repeticiones en la obtención de esos datos, usar el módulo Memoize con esa función.

En fin, que posibilidades hay muchas. Pero si aún así, el responsable es Perl, habrá que pensar que el problema está en el controlador que dialoga con la base de datos.

por **mgonzalez** » 2010-11-16 14:22 @640

Amigo, de verdad estoy muy agradecido de tu ayuda. Como se trata de una de las tantas cargas de trabajo que me asignan tuve que dejarla de lado por un tiempo. De todas formas pruebo lo antes posible.

Saludos

Foro - Perl en Español

SQL colgado en cgi

SQL colgado en cgi

Publicidad

Re: SQL colgado en cgi

Re: SQL colgado en cgi

Re: SQL colgado en cgi

Re: SQL colgado en cgi

Re: SQL colgado en cgi

Re: SQL colgado en cgi

¿Quién está conectado?