Foro - Perl en Español

por **Fernando** » 2011-05-26 19:21 @848

¿Qué tal, gente?

Los molesto nuevamente con una consulta.

A partir de sus consejos, en un tema anterior (performance-perl-vs-mysql-en-busquedas-t6081.html) llegué al siguiente código: es un servicio web donde al que se le pasa como parámetro un dominio/sitio y te devuelve la categoría a la que pertenece el mismo.

El servicio web consta 3 archivos: Ws.pm, ws.cgi y ws_cliente.pl (desde donde se realizan las consultas).

El archivo Ws.pm

Sintáxis: [ Descargar ] [ Ocultar ]

#!/usr/bin/perl
# Nombre: Ws.pm
use IO::File;
use strict;
use warnings;
package Ws;
open(LISTA, "</categorias/lista.dominios") or die "Error al abrir archivo: $!";
my @lineas = <LISTA>;
my %hash_table;
for my $linea ( @lineas ) {
my @campos = split /,/, $linea;
$hash_table{$campos[0]} = "$campos[1]";
}
sub ws {
my @args = @_;
return $hash_table{$args[1]};
}
1;

El archivo "/categorias/lista.dominios" que menciono en el código anterior tiene el siguiente formato:

Sintáxis: [ Descargar ] [ Ocultar ]

[...]
clarin.com,noticias
lacapital.com.ar,noticias
blogger.com,blogs
solojuegos.com,juegos
[...]

El archivo ws.cgi

Sintáxis: [ Descargar ] [ Ocultar ]

#!/usr/bin/perl -w
# Nombre: ws.cgi
# Web Service - Devuelve la categoría a la que pertenece un dominio dado
use Ws;
use SOAP::Transport::HTTP;
SOAP::Transport::HTTP::CGI
->dispatch_to('Ws')
->handle;

Y finalmente el cliente desde donde hago las consultas: ws_cliente.pl

Sintáxis: [ Descargar ] [ Ocultar ]

#!/usr/bin/perl –w
# Nombre: ws_cliente.pl
# Uso:
# ws_cliente.pl <dominio>
###################################################
use SOAP::Lite; #+trace => 'debug';
$HOST = "http://localhost/cgi-bin/ws.cgi";
$NS = "urn:Ws";
$PHRASE = shift; # lee de la línea de comandos
my $soap = SOAP::Lite
->readable(1)
->uri($NS)
->proxy($HOST);
my $som = $soap->ws(
SOAP::Data->name("categorias" => "$PHRASE"));
print "La categoria del sitio es: ".$som->result."\n";
1;

Entonces, yo hago una consulta simple:

Sintáxis: [ Descargar ] [ Ocultar ]

Using bash Syntax Highlighting

$ ws_cliente.pl clarin.com
Coloreado en 0.003 segundos,  usando GeSHi 1.0.8.4

y me devuelve:

Sintáxis: [ Descargar ] [ Ocultar ]

Using bash Syntax Highlighting

La categoría del sitio es: noticias
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

El servicio web funciona. Pero tengo dos problemas:

1. cada consulta que realizo me tira el CPU al 98-99%;
2. cada consulta que realizo tarda aprox. 3-4 segundos, lo cual es mucho ya que la tabla de hash armada (en Ws.pm) tiene apenas 700 mil registros.

¿Qué estoy haciendo mal? ¿Cómo lo puedo mejorar?

¡¡Muchas gracias de antemano!!

Saludos. Fernando.-

En el anterior hilo, se comentó que, lo ideal, es que el proceso ws.cgi debería quedar residente, porque sino, el proceso de lectura de los dominios/categoría se repite en cada petición (ws.cgi carga ws.pm).

Se podría aumentar las prestaciones, pasando el fichero dominios/categoría a una base de datos sencilla, como sqlite o dbm, o incluso hacer un programa previo que lea y crea el hash y lo guarde en disco con Data::Dumper, de manera que el ws.pm solo tiene que leerlo y evaluarlo (ver bioinfo: Guardar en un archivo los contenidos de variable), o usando un módulo como Storable.

De momento, si no puedes poner el proceso de forma residente, lo que sí puedes hacer es cambiar la forma de trabajar de ws.pm.

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/perl 
# Nombre: Ws.pm 
     
package Ws; 
 
sub ws { 
    my ($self, $dominio_a_buscar) = @_; 
 
    open(LISTA, "</categorias/lista.dominios") or die "Error al abrir archivo: $!"; 
 
    while(<LISTA>) {
        my ($dominio, $categoria) = split /,/; 
 
        if ($dominio eq $dominio_a_buscar) {
            chomp  $categoria;
            return $categoria;
         }
    }
    return;
}
 
1;      
 
Coloreado en 0.003 segundos,  usando GeSHi 1.0.8.4

Es decir, leemos el fichero línea a línea, y si encontramos lo que buscamos, devolvemos la $categoria y terminamos de buscar. Con esto, ya reducimos el tiempo de búsqueda a la mitad (de media).

Pero la eficiencia máxima sería que la información no fuera necesario leerla en cada invocación: hacer que el proceso sea residente, quedando el hash permanente en memoria.

por **Fernando** » 2011-05-27 13:53 @620

¡Hola explorer!

Gracias por la ayuda.

Sí, en el hilo anterior me comentabas que se podría utilizar CGI::Fast para crear una sola vez la tabla de hash y mantenerla en memoria. Pensé que al invocar el Ws.pm desde el ws.cgi estaba haciendo algo similar. Obviamente estaba equivocado.

Está bien, la idea entonces es dejar la tabla persistente. A mi me interesa que sea un servicio web de consultas. ¿Cómo quedaría la estructura? ¿Sería simplemente UN archivo .cgi (ws.cgi por ejemplo, SIN Ws.pm) haciendo uso de CGI::Fast y SOAP::Transport?

Estuve leyendo la documentación de CGI::Fast la cual dice claramente que existe una carga inicial (en mi caso sería el armado de la tabla de hash) y luego el programa se mantiene persistente en memoria atendiendo las llamadas, pero no me termina de quedar en claro si además tengo que utilizar SOAP para hacerlo WebService o simplemente con FCGI alcanza.

Por otro lado, te consulto: al hacerlo servicio web con SOAP y/o FCGI, ¿tengo igualmente que utilizar un fork() para cada consulta (espero varias consultas por segundo) o el mismo SOAP/FCGI lo manejan internamente a este tipo de cosas?

Muchas gracias. ¡Saludos!

Foro - Perl en Español

Performance en servicio web simple

Performance en servicio web simple

Publicidad

Re: Performance en servicio web simple

Re: Performance en servicio web simple

¿Quién está conectado?