Foro - Perl en Español

por **z1rr0s1s** » 2010-11-18 19:08 @839

¡Hola, muy buenas!

Llevo un tiempo programando en Perl y nunca me ha venido la necesidad de utilizar threads.

Hoy, haciendo un miniscript sencillo me vino la idea de utilizarlos para realizar el proceso más rápido. Me puse a buscar sobre ello y a leer y la verdad es que no me entero muy bien cómo funcionan.

A ver si me podéis echar una mano ; - )

Mi idea es la siguiente:

A partir de un dominio dado al script, cargará una lista de palabras para utilizarlas como subdominio; a cada subdominio formado realizará una petición A, y si ésta es exitosa lo apuntará.

Mi idea es que se pueda definir en una variable el número máximo de threads y que cada thread realice la petición al subdominio formado. Ésto me interesa por si se le pasa al script una lista grande de palabras, que tarde menos.

Aquí pego lo que tengo hecho:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/perl -W
 
use Net::DNS ;
use threads ;
 
my $domain = 'apple.com' ;
my $wordlist = 'wordlist.txt' ;
my $max_threads = 10 ;
 
_checksdomain ( $domain );
 
sub _as {
        my $domain = shift ;
 
        my $resolv  = Net::DNS::Resolver->new() ;
        my $query = $resolv->query( $domain, 'A' );
 
        if ( $query ){
                foreach ( $query->answer ){
                        return $_->string ;
                }
        }
}
 
sub _checksdomain 
{
        open(WORDL, $wordlist) || die "[-] ERROR: ".$!,"\n" ;
        while(<WORDL>){
                chomp ;
                $bdomain = $_.".".$domain ; # PALABRA.DOMINIO
 
                # CREAR THREADS PARA QUE SE COMPRUEBE CADA DOMINIO CON UNO Y REALICE EL PROCESO MÁS RÁPIDO
 
                print _as( $bdomain ),"\n" if _as( $bdomain ) ; 
        }
        close(WORDL);
}
Coloreado en 0.004 segundos,  usando GeSHi 1.0.8.4

Un saludo y gracias de antemano.

P.D: Muy bueno el foro, hacen un gran trabajo ayudando a la gente con este gran lenguaje

He estado mirándome un poco las discusiones del foro, pero no consigo ver cómo repartir el trabajo entre los procesos hijos.

¿Qué diferencia hay entre el módulo threads y el uso de fork()?

Hice algo así, pero no consigo ver cómo lo podría aplicar a mi pequeño script. El script me lo mandaron realizar en mi trabajo sin threads, ni nada por el estilo, pero me interesa añadirle esto para que sea más rápido.

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/perl
 
@array = qw(perro gato pollo gallina);
 
$num = 5 ;
 
foreach (@array){
        for( my $i = 1; $i<=$num; $i++ ){
                my $pid = fork();
                if ($pid) {
                        # parent
                        waitpid($pid,0) ;
                } elsif ($pid == 0) {
                        print $_,"\n";
                        exit(0);
                } 
                else {
                        die "couldn’t fork: $!\n";
                }
        }
}
print "FOR OUT\n";
 
__END__
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

Me devuelve:

Sintáxis: [ Descargar ] [ Ocultar ]

Using bash Syntax Highlighting

z1rr0@deb:~/Desktop$ perl a.pl

perro

perro

perro

perro

perro

gato

gato

gato

gato

gato

pollo

pollo

pollo

pollo

pollo

gallina

gallina

gallina

gallina

gallina

FOR OUTColoreado en 0.002 segundos,  usando GeSHi 1.0.8.4

Un saludo.

por **explorer** » 2010-11-19 17:44 @780

El problema que hay en el código es que, mientras el hijo está ocupado en pintar el texto, el padre, que debería estar lanzando más hijos, en realidad le estás pidiendo que espere al hijo, al llamar al waitpid().

Si lo cambias un poco, salen cosas distintas:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/perl
use strict;
use warnings;
 
my @array = qw(perro gato pollo gallina);
my $num = 5 ;
my $pid;
 
foreach (@array) {
    for( my $i = 1; $i<=$num; $i++ ) {
        $pid = fork();
        if ($pid == 0) {
            # hijo
            sleep 1+rand 10;
            print $_,"\n";
            exit(0);
        }
    }
}
 
 
print "FOR OUT\n";
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

El módulo Parallel::ForkManager simplifica mucho todo esto.

En cuanto al aumento de velocidad que quieres conseguir, depende solamente del número de procesadores/núcleos que tengas en tu ordenador. Piensa: aunque lances 20 hijos, y solo tengas un procesador, tardarás lo mismo que si lo ejecutas de modo secuencial (bueno, en realidad tardarás más, debido al tiempo consumido en los cambios de contexto).

por **z1rr0s1s** » 2010-11-21 16:11 @716

Esto es lo que me tira de salida:

Sintáxis: [ Descargar ] [ Ocultar ]

Using text Syntax Highlighting

gallina

gallina

gato

perro

pollo

gato

pollo

gallina

pollo

perro

perro

gato

gallina

perro

gallina

pollo

gato

gato

pollo

perroColoreado en 0.000 segundos,  usando GeSHi 1.0.8.4

¿Es posible hacer que cada elemento del array lo procese un proceso hijo?

Me interesaría aprender a hacerlo sin usar ningún módulo adicional.

¿El módulo que me mencionaste utiliza threads? Lo que quiero podría ser así, ¿no?

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/perl -W
 
use Parallel::ForkManager;
 
my $max_process = 10 ;
my @array = qw(perro gato pollo gallina);
 
$pm = new Parallel::ForkManager($max_process);
 
foreach $data (@array) {
        my $pid = $pm->start and next;
        print $data,"\n";
        $pm->finish;    # ACABAR PROCESO
}
$pm->wait_all_children; # ESPERAR A QUE ACABEN TODOS LOS HIJOS
 
__END__
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

por **explorer** » 2010-11-21 17:48 @783

z1rr0s1s escribiste:¿Es posible hacer que cada elemento del array lo procese un proceso hijo?

Eso es lo que está haciendo...

z1rr0s1s escribiste:Me interesaría aprender a hacerlo sin usar ningún módulo adicional.

Pues entonces te queda leer la documentación referente a fork() y threads. Y un día, cuando te des cuenta de lo útil que son los módulos, quizás quieras aprender POE (web), que tiene unas características muy interesantes, para multitarea.

z1rr0s1s escribiste:¿El módulo que me mencionaste utiliza threads?

Como su nombre indica, usa fork().

z1rr0s1s escribiste:Lo que quiero podría ser así, ¿no?

¿Lo has probado? A mi me parece que es correcto. Cada vez que llamas a start() estás creando un nuevo proceso, que ejecutará lo que sigue. Y wait_all_children() esperará por todos.

Mira, si lees el código de ForkManager puedes aprender mucho sobre fork()

por **explorer** » 2010-11-21 17:58 @790

z1rr0s1s escribiste:¿Qué diferencia hay entre el módulo threads y el uso de fork()?

Bueno, lo normal es leer, por ejemplo en la Wikipedia, las definiciones de Hilo de ejecución y de Bifurcación (sistema operativo).

En resumen. Hilo: «Los distintos hilos de ejecución comparten una serie de recursos tales como el espacio de memoria, los archivos abiertos, situación de autenticación, etc.»

Bifurcación: «hace referencia a la creación de una copia de sí mismo por parte de un programa, que entonces actúa como un "proceso hijo" del proceso originario, ahora llamado "padre". Los procesos resultantes son idénticos, salvo que tienen distinto número de proceso (PID).»

por **z1rr0s1s** » 2010-11-21 18:27 @810

Muchas gracias por las respuestas, explorer, estoy aprendiendo bastante.

Lo que me estoy dando cuenta es que es más rápido el script de forma secuencial que haciendo bifurcaciones.

¿En qué casos recomendarías utilizar bifurcaciones?

¡Un saludo!

por **explorer** » 2010-11-21 18:34 @815

Cuando el proceso necesite mucho procesamiento/cálculo de CPU, y ejecutando tantas bifurcaciones como núcleos de procesador. No más. De hecho, siempre suelo dejar un núcleo libre para el resto de programas y las tareas propias del sistema operativo.

por **z1rr0s1s** » 2010-11-22 10:58 @498

Muchas gracias, en este caso creo que no utilizaré bifurcaciones ni hilos, pero para la próxima ya sabré.

Estaría interesado en que este script y posteriores creen un fichero de registro con lo que obtengan. ¿Qué formato me recomendarías para que después ese fichero pueda ser interpretado por otras aplicaciones?

Saludos

Foro - Perl en Español

Ayuda con threads

Ayuda con threads

Publicidad

Re: Ayuda con threads

Re: Ayuda con threads

Re: Ayuda con threads

Re: Ayuda con threads

Re: Ayuda con threads

Re: Ayuda con threads

Re: Ayuda con threads

Re: Ayuda con threads

Re: Ayuda con threads

¿Quién está conectado?