Foro - Perl en Español

por **dthhack** » 2012-02-22 14:47 @657

Bueno, mi problema es el siguiente: encontré un crawling web en Perl en el foro, el cual lo que quiero hacer es que cada URL que obtenga la guarde en un arreglo; así llenar cada posición del arreglo con una URL.

También sería hacer un arreglo dinámico en Perl, que me diga si encontró 20 URL que se detenga el llenado del arreglo.

ESTE ES EL SCRIPT DEL CRAWLING:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

use LWP::UserAgent;
use HTML::LinkExtor;
my @urls = ('http://127.0.0.1/');
my %visited;
my $browser = LWP::UserAgent->new();
$browser->timeout(5);
 
while (@urls) {
  my $url = shift @urls;
 
  next if $visited{$url};
 
  my $request = HTTP::Request->new(GET => $url);
  my $response = $browser->request($request);
 
  if ($response->is_error()) {print $response->status_line, "\n";}
  my $contents = $response->content();
 
  $visited{$url} = 1;
 
  my ($page_parser) = HTML::LinkExtor->new(undef, $url);
  $page_parser->parse($contents)->eof;
  my @links = $page_parser->links;
 
  foreach my $link (@links) {
        next if $$link[2] !~ /127.0.0.1/;
        print "$$link[2]\n";
        push @urls, $$link[2];  
  }
  sleep 1;
}
Coloreado en 0.002 segundos,  usando GeSHi 1.0.8.4

Gracias...

Ok, gracias, ya lo pude solucionar. Ahora me falta una cosilla más, si me puedes ayudar. Bueno, las URL obtenidas se van a agregar a un archivo de texto. ¿Cómo hacer que el archivo me guarde las URL hacia abajo pero de la forma que se abra el archivo y me guarde una, luego se abra y me guarde la siguiente, así sucesivamente pero sin que me sobreescriba la URL anterior?

Gracias.

por **explorer** » 2012-02-23 22:50 @993

Te basta con abrir el archivo de salida con el modo de "agregar al final", ('>>'), en lugar de solo "escribir" ('>').

por **dthhack** » 2012-02-24 07:54 @371

Gracias, master, por la ayuda; me funcionó bien...

por **dthhack** » 2012-02-24 13:44 @614

Maestro, tengo otra consultilla sobre esta parte del código:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

 next if $$link[2] !~ /127.0.0.1/;
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

Eso está bien pero si yo quisiera poner una URL más larga como esta: http://127.0.0.1/XAMPP/Test/ debería quedar así:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

next if $$link[2] !~ /127.0.0.1\/XAMPP\/Test\//;
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

Con esa funciona bien, pero mi problema es el siguiente: hice que me pidiera la URL para el crawling, luego modifico el código next if $$link[2] !~ /Url-para-Crawling/;...

Pero me gustaría saber cómo hacerlo para no estar siempre modificando el código, si hay alguna expresión que me tome la misma URL ingresada para el crawling y la modifique como se requiere en el next... Si hay alguna forma que me pueda ayudar lo agradecería muchísimo.

Gracias.

por **explorer** » 2012-02-24 18:59 @832

Pues si algo es variable, eso significa que debemos guardarlo en una variable...

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

my $URL = <>;     # leemos la URL por el teclado o entrada estándar
chomp $URL;       # quitamos el retorno de carro
 
...;
 
    next if $$link[2] !~ /$URL/;       # salta a la siguiente si el enlace no concuerda con la $URL buscada
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

Humm... aquí tengo una duda... no sé si estará bien... Quizás haya que escapar el contenido de $URL antes de meterla en la expresión regular.

Cuestión de probar...

por **dthhack** » 2012-02-28 09:43 @446

La última cosa. Por ejemplo, en código me guarda como 6 veces la misma URL. ¿Cómo podré hacer que solo me guarde solo una en el archivo.log?

Si comento esta instrucción

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

push @urls, $$link[2];
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

me guarda solo una URL pero no me hace el crawling a los demás directorios que contiene la web, pero si no la comento me hace el crawling como debe ser pero me guarda repetitivas veces una misma URL.

Si me puede dar una ayudita más, por favor... Gracias.

ESTE ES EL CÓDIGO DONDE SE GENERA EL REPORTE:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

          foreach my $link (@links)
          {
                next if $$link[2] !~ /$ver/;
                my $contenido = get ($$link[2]);
                        $contok++;
                        print "-> OK  [   FOUND   ] $$link[2]\n";
                        push @urls, $$link[2];
                        $registro=join("\n",$$link[2]);
                        open(reporte,">> URL.log");
                        print reporte $registro;
                        print reporte "\n";
                        close (reporte); 
          }
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

por **explorer** » 2012-02-28 10:07 @463

Si el objetivo es tener los URL una sola vez, entonces esa es misión de un hash.

Antes de hacer el push(), debes comprobar si existe $visto{$$link[2]}. Si no existe, pues hace el push() y actualizas el valor de %visto.

por **dthhack** » 2012-02-29 09:44 @447

Así está el código pero para comprobar con hash $visto{$$enlace[2]} ¿con qué lo comparo? Para verificar si existe o ¿hay que darle algún valor a $visto? Porque yo pensaba hacerlo con un array pero no me funciona, y además lo estaba usando de este modo exists $visto{$$enlace[2]}; arriba del $contok++;.

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

foreach my $link (@links) {
    next if $$link[2] !~ /$ver/;
    my $contenido = get( $$link[2] );
 
    if ( ( $contenido =~ m/lo_que_se_busca/ ) and ( $contenido =~ m/lo_que_se_busca/ ) ) {
        $contok++;
        print "    -> OK  [   FOUND   ] $$link[2]\n";
        push @urls, $$link[2];
        $registro = join( "\n", $$link[2] );
        open( reporte, ">> FOUND.log" );
        print reporte $registro;
        print reporte "\n";
        close(reporte);
 
    }
    else {
        $contnot++;
        print "    -> NOT [ NOT FOUND ] $$link[2]\n";
        push @urls, $$link[2];
        $registro = join( "\n", $$link[2] );
        open( noreporte, ">> NOT-FOUND.log" );
        print noreporte $registro;
        print noreporte "\n";
        close(noreporte);
    }
}
 
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

Gracias... Disculpen las molestias. ¡Je!

Foro - Perl en Español

Arreglos vacíos

Arreglos vacíos

Publicidad

Re: Arreglos vacíos

Re: Arreglos vacíos

Re: Arreglos vacíos

Re: Arreglos vacíos

Re: Arreglos vacíos

Re: Arreglos vacíos

Re: Arreglos vacíos

Re: Arreglos vacíos

Re: Arreglos vacíos

¿Quién está conectado?