Foro - Perl en Español

por **erv-Z** » 2009-08-17 21:29 @937

Buenas, quisiera saber qué módulo debo ocupar para extraer links de Google y cómo funciona dicho módulo.

Saludos.

Bienvenido a los foros de Perl en Español, erv-Z.

Google tiene muchos servicios de los que se pueden sacar enlaces. No has dicho qué servicio quieres usar. De momento, aquí tienes unos cuantos módulos.

Ten también en cuenta que algunos servicios requieren que te des de alta como desarrollar o como usuario autorizado de su API. Y que está limitado el número de peticiones diarias que puedes hacer. Si no, podrían bloquearte el servicio o limitarlo en cuanto a información o tráfico.

por **erv-Z** » 2009-08-22 11:26 @518

Mira, este es un buscador que hice, pero no funciona bien, no sé por qué. A ver si me podéis decir cuál es mi error.

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

use LWP::UserAgent;
use HTTP::Request;
use LWP::Simple;
 
print "Modo de uso:\n";
print "Perl name.pl <busqueda> <numeros de paginas>\n";
print "perl name.pl inurl:noticias.php?id=1 50\n";
 
my $ua = new LWP::UserAgent;
$ua->agent("Mozilla/5.0 (Windows; U; Windows NT 5.1; nl; rv:1.8.1.12) Gecko/20080201 Firefox/2.0.0.12");
 
for($i=1;$i<$ARGV[1];$i++){
 my $busqueda = new HTTP::Request GET =>"http://www.google.es/#q=".$ARGV[0]."&hl=es&start=".$i."&sa=N&fp=";
my $resultado = $ua->request($busqueda);
$ua->timeout(7);
my $result = $resultado->content;
 
while ($result =~ m/<h2 class=(.*?)><a href=\"(.*?)\" class=(.*?)>/g){
my $sites=$result;
 
print $sites\n;
}
}
Coloreado en 0.003 segundos,  usando GeSHi 1.0.8.4

por **netsoul** » 2009-08-22 12:49 @575

A ver... No olvides de usar use strict y use warnings para ver qué errores hay. ¿Por qué usas LWP::Simple si ya tienes HTTP::Request y LWP::UserAgent?. Además creo que Google no soporta LWP::Simple, (no sé).

Hay bastantes módulos que hacen el trabajo para lo que quieras hacer.

Si quieres hacer por medio de HTTP::Request, doy una pista, en el request que haces a Google tiene la cadena /#q=, y no el clásico /search?hl=es&source=hp&q=

por **erv-Z** » 2009-08-22 13:21 @597

Ok, man, hice algunos arreglos e hice una búsqueda automática, a ver si funciona, pero nada.

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

use LWP::UserAgent;
use HTTP::Request;
 
my $ua = new LWP::UserAgent;
$ua->agent("Mozilla/5.0 (Windows; U; Windows NT 5.1; nl; rv:1.8.1.12) Gecko/20080201 Firefox/2.0.0.12");
 
 
my $busqueda = new HTTP::Request GET =>"http://www.google.es/search?hl=es&q=ola&start=50&sa=N";
my $resultado = $ua->request($busqueda);
$ua->timeout(7);
my $result = $resultado->content;
 
while ($result =~ m/<h2 class=(.*?)><a href=\"(.*?)\" class=(.*?)>/g){
my $sites=$result;
 
print $sites\n;
}
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

por **netsoul** » 2009-08-22 13:28 @602

Mmmm... a ver... ¿Has revisado la expresión regular?. :wink:

En la línea 16 tienes un error de concatenación.

por **erv-Z** » 2009-08-22 13:48 @616

¿Y qué debería ir en la línea 16 y por qué?

por **ubuntu** » 2009-08-22 13:52 @619

Buenas

supongo que netsoul quiso decir esto

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

print $sites\n;
 
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

por esto otro :

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

print "$sites\n";
 
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

si me equivoco corregirme, saludos.

por **netsoul** » 2009-08-22 14:09 @631

Hay un hilo que podría ayudar.

por **explorer** » 2009-08-22 17:40 @778

El programa no funciona porque Google ha cambiado la forma de responder, el código HTML de las páginas de búsqueda.

Un extracto:

Sintáxis: [ Descargar ] [ Ocultar ]

Using html4strict Syntax Highlighting

<h3 class=r><a href="http://www.microsiervos.com/archivo/peliculas-tv/ola-gigante-filmada-desde-abajo.html" class=l onmousedown="return clk(this.href,'','','res','57','')">Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

Por eso, la condición del while() siempre falla y no saca nada.

Tendrías que modificar la expresión regular para capturar esos nuevos enlaces.

Algo así:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/perl
use LWP::UserAgent;
use HTTP::Request;
 
my $ua = new LWP::UserAgent;
$ua->agent("Mozilla/5.0 (Windows; U; Windows NT 5.1; nl; rv:1.8.1.12) Gecko/20080201 Firefox/2.0.0.12");
 
my $busqueda = new HTTP::Request GET =>"http://www.google.es/search?hl=es&q=ola&start=50&sa=N";
my $resultado = $ua->request($busqueda);
$ua->timeout(7);
my $result = $resultado->content;
 
while ($result =~ m/<h3 class=.*?<a href="([^"]+).*?>(.*?)<\/a>/g) {
    my ($enlace, $texto) = ($1, $2);
    print "$enlace - $texto\n";
}
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

que queda más corto así:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/perl
use strict;
use warnings;
 
use LWP::Simple qw($ua get);
 
$ua->agent("Mozilla/5.0 (Windows; U; Windows NT 5.1; nl; rv:1.8.1.12) Gecko/20080201 Firefox/2.0.0.12");
 
my $resultado = get("http://www.google.es/search?hl=es&q=ola&start=50&sa=N");
 
while ($resultado =~ m/<h3 class=.*?<a href="([^"]+).*?>(.*?)<\/a>/g) {
    my ($enlace, $texto) = ($1, $2);
    print "$enlace - $texto\n";
}
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

Pero, para hacer Web scraping, prefiero WWW::Mechanize:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/perl
use strict;
use warnings;
 
use WWW::Mechanize;
 
my $mech = WWW::Mechanize->new();
 
$mech->agent("Mozilla/5.0 (Windows; U; Windows NT 5.1; nl; rv:1.8.1.12) Gecko/20080201 Firefox/2.0.0.12");
 
$mech->get("http://www.google.es/search?hl=es&q=ola&start=50&sa=N");
 
my @enlaces = $mech->find_all_links( class => 'l' );
 
for my $enlace (@enlaces) {
    print $enlace->url() , " : ";
    print $enlace->text(), "\n";
}
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

De todas formas, lo correcto es lo indicado al final por netsoul: usar un módulo concreto para Google.

Foro - Perl en Español

Cómo extraigo enlaces de Google

Cómo extraigo enlaces de Google

Publicidad

Re: Cómo extraigo enlaces de Google

Re: Cómo extraigo enlaces de Google

Re: Cómo extraigo enlaces de Google

Re: Cómo extraigo enlaces de Google

Re: Cómo extraigo enlaces de Google

Re: Cómo extraigo enlaces de Google

Re: Cómo extraigo enlaces de Google

Re: Cómo extraigo enlaces de Google

Re: Cómo extraigo enlaces de Google

¿Quién está conectado?