Foro - Perl en Español

por **BigBear** » 2012-07-07 16:53 @745

Tengo el siguiente código.

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

use LWP::UserAgent;
 
my $nave = LWP::UserAgent->new;
$nave->agent("Mozilla/5.0 (Windows; U; Windows NT 5.1; nl; rv:1.8.1.12) Gecko/20080201Firefox/2.0.0.12");
$nave->timeout(5);
 
$code = toma("http://www.google.com.ar/search?q=test&ie=utf-8&oe=utf-8&aq=t&rls=org.mozilla:es-ES:official&client=firefox-a");
while($code=~/<a href="(.*?)" class=l onmousedown/mig) {
print $1."\n";
}
 
sub toma {
return $nave->get($_[0])->content;
}
Coloreado en 0.002 segundos,  usando GeSHi 1.0.8.4

El problema es que la expresión regular no funciona. El patrón es así:

Sintáxis: [ Descargar ] [ Ocultar ]

Using text Syntax Highlighting

<a href="http://www.psicoactiva.com/tests.htm" class=l onmousedownColoreado en 0.001 segundos,  usando GeSHi 1.0.8.4

¿ Alguien me podría ayudar ?

#!/usr/bin/perl
use strict;             # programación estricta de Perl
use warnings;           # activar las advertencias
use diagnostics;        # advertencias realmente ruidosas
 
my $code = '
<a href="http://www.psicoactiva.com/tests.htm" class=l onmousedown
<a href="http://www.psicoactiva.com/tests.htm" class=l onmousedown
<a href="http://www.psicoactiva.com/tests.htm" class=l onmousedown
';
 
while ($code =~ /<a href="(.*?)" class=l onmousedown/mig) {
    print "$1\n";
}
 
__END__
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

por **BigBear** » 2012-07-07 18:01 @792

Sí, ya me fijé que el problema viene del código cuando cargo con Google. Al parecer devuelve dos contenidos diferentes; uno cuando lo cargo con Firefox y otro diferente cuando lo cargo con el script en Perl.
Recuerdo que encontré esta expresión regular en Python: "(?<=\"r\"><. href=\")[^\"]+" que hace que funcione desde cualquier lado.

El problema es que no tengo ni idea de cómo traducirla a Perl.

¿ Vos sabes cómo la puedo traducir ?

por **explorer** » 2012-07-07 22:13 @967

No sé nada de Python, pero si sigue las mismas reglas de expresiones regulares que en Perl,

(?<=\"r\"><. href=\")[^\"]+

significaría:

buscar por "r"><. href=" pero no lo incluye en el resultado de la búsqueda, seguido de
[^\"]+, que es coincidir con cualquier cosa hasta antes de la siguiente comilla doble.

Lo que ya no sé es cómo indica la captura de lo que quiere obtener.

En Perl se escribiría así:

/(?<="r"><. href=")(.+?)"/

pero que puede quedar reducido a

/"r"><. href="(.+?)"/

que... me gusta más

Al menos, lo veo más claro.

por **BigBear** » 2012-07-08 11:46 @532

¡Ja!, me quedó perfecto, pero tengo otra duda molesta.

El código quedó así:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

use LWP::UserAgent;
use HTML::LinkExtor;
 
my $nave = LWP::UserAgent->new;
$nave->agent("Mozilla/5.0 (Windows; U; Windows NT 5.1; nl; rv:1.8.1.12) Gecko/20080201Firefox/2.0.0.12");
$nave->timeout(5);
$code = toma("http://www.google.com.ar/search?q=test&ie=utf-8&oe=utf-8&aq=t&rls=org.mozilla:es-ES:official&client=firefox-a");
while($code=~/(?<="r"><. href=")(.+?)"/mig) {
my $url = $1;
print $url."\n";
}
 
sub toma {
return $nave->get($_[0])->content;
}
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

El código me devuelve esto:

Sintáxis: [ Descargar ] [ Ocultar ]

Using text Syntax Highlighting

/url?q=http://www.psicoactiva.com/tests.htm&amp;sa=U&amp;ei=qbj5T9rSD5SQ8wTurImD

Bw&amp;ved=0CBMQFjAA&amp;usg=AFQjCNGZGIsAW0mPEq6BeSCLimKfHb33zg

/url?q=http://analizame.com/&amp;sa=U&amp;ei=qbj5T9rSD5SQ8wTurImDBw&amp;ved=0CBs

QFjAB&amp;usg=AFQjCNG9ZAKsuRNEXOpwGu6F2ac5ze0PKg

/url?q=http://amor.rincondelvago.com/tests/&amp;sa=U&amp;ei=qbj5T9rSD5SQ8wTurImD

Bw&amp;ved=0CCIQFjAC&amp;usg=AFQjCNHv3wLUcdIOJioeSgfZ8N24mDw1lA

/url?q=http://www.mentat.com.ar/testvarios.htm&amp;sa=U&amp;ei=qbj5T9rSD5SQ8wTur

ImDBw&amp;ved=0CCkQFjAD&amp;usg=AFQjCNGmRxeHVdftB8yj-AsbX_KDalhSbQ

/url?q=http://www.helios3000.net/tests/eq.shtml&amp;sa=U&amp;ei=qbj5T9rSD5SQ8wTu

rImDBw&amp;ved=0CCwQFjAE&amp;usg=AFQjCNFPF9b_vqbNZjPBONtrEefZtqhbXg

/url?q=http://www.speedtest.net/&amp;sa=U&amp;ei=qbj5T9rSD5SQ8wTurImDBw&amp;ved=

0CDMQFjAF&amp;usg=AFQjCNHLE9yuqV3Qc54dNhp792tKkIVJHg

/url?q=http://www.testdevelocidad.es/&amp;sa=U&amp;ei=qbj5T9rSD5SQ8wTurImDBw&amp

;ved=0CDYQFjAG&amp;usg=AFQjCNGT7OT7Kr_UUTxn0NTdncBGTYmAQA

/url?q=http://acid3.acidtests.org/&amp;sa=U&amp;ei=qbj5T9rSD5SQ8wTurImDBw&amp;ve

d=0CDkQFjAH&amp;usg=AFQjCNFO2lJpQQP9JdpWBI-qhykvoMNNAg

/url?q=http://www.ticketek.com.ar/ajax/lightboxTicket.php&amp;sa=U&amp;ei=qbj5T9

rSD5SQ8wTurImDBw&amp;ved=0CDwQFjAI&amp;usg=AFQjCNFbzTog9Ha-pNk1fUHXWw3zuc7mFw

/interstitial?url=http://www.tododetest.com/&amp;sa=U&amp;ei=qbj5T9rSD5SQ8wTurIm

DBw&amp;ved=0CD4QFjAJColoreado en 0.000 segundos,  usando GeSHi 1.0.8.4

¿ Me podrías decir cómo perfeccionar la expresión regular para que saque la URL de cada uno ?

por **explorer** » 2012-07-08 18:18 @804

Pero si eso ya son URL...

Otra cosa es que quieras extraer la URL que está asociada al parámetro 'q', algo que se puede hacer fácil con una expresión regular sencilla, ya que sabemos dónde empieza y dónde acaba.

por **BigBear** » 2012-07-08 18:20 @805

sip, pregunta al vicio el código quedó así:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

use LWP::UserAgent;
 
my $nave = LWP::UserAgent->new;
$nave->agent("Mozilla/5.0 (Windows; U; Windows NT 5.1; nl; rv:1.8.1.12) Gecko/20080201Firefox/2.0.0.12");
$nave->timeout(5);
 
my @test = google( "noticias.php+id", "10" );
 
#for(@test) { print $_."\n"; }
 
sub google {
    my ( $a, $b ) = @_;
    my @founds;
    for ( $pages = 10; $pages <= $b; $pages = $pages + 10 ) {
        $code = toma( "http://www.google.com.ar/search?hl=&q=" . $a . "&start=$pages" );
        while ( $code =~ /(?<="r"><. href=")(.+?)"/mig ) {
            my $url = $1;
            if ( $url =~ /\/url\?q\=(.*?)\&amp\;/ ) {
                print $1. "\n";
                push( @founds, $1 );
            }
        }
    }
    my @founds = repes( cortar(@founds) );
    return @founds;
}
 
sub repes {
    my @limpio;
    foreach $test (@_) {
        push @limpio, $test unless $repe{$test}++;
    }
    return @limpio;
}
 
sub cortar {
    my @nuevo;
    for (@_) {
        if ( $_ =~ /=/ ) {
            @tengo = split( "=", $_ );
            push( @nuevo, @tengo[0] . "=" );
        }
        else {
            push( @nuevo, $_ );
        }
    }
    return @nuevo;
}
 
sub toma {
    return $nave->get( $_[0] )->content;
}
 
Coloreado en 0.002 segundos,  usando GeSHi 1.0.8.4

Foro - Perl en Español

Expresión regular en Google

Expresión regular en Google

Publicidad

Re: Expresión regular en Google

Re: Expresión regular en Google

Re: Expresión regular en Google

Re: Expresión regular en Google

Re: Expresión regular en Google

Re: Expresión regular en Google

¿Quién está conectado?