Página 1 de 1

Google y webs

NotaPublicado: 2008-01-06 12:40 @569
por later
Hola.

La idea es hacer una petición de búsqueda a Google con un patrón y que éste recopile todas las webs que me dio resultado en un array.

Sintáxis: [ Descargar ] [ Ocultar ]
Using perl Syntax Highlighting
#!/usr/bin/perl

use LWP::Simple;

$string = "palabra";

@webs = get("http://www.google.es/search?q=.$string.&hl=es&start=0&sa=N") =~ /(http\:\/\/[a-z0-9\.\-\/\?\:\&\%\=\_]{5,})/gi;

foreach $web (@webs)

{

($domain) = $web =~ /^http\:\/\/([a-z0-9\.\-]{5,})/;
print "$domain\n";

}
Coloreado en 0.003 segundos, usando GeSHi 1.0.8.4


Este código me imprime como resultado NADA.

NotaPublicado: 2008-01-06 14:26 @643
por explorer
Google está filtrando las peticiones hechas con LWP.

Tendrás que falsearlo cambiando el User-Agent.

Es más cómodo que solicites a Google acceso a su API, así podrás hacer consultas de una forma más legal y sobre todo, fácil, a cambio de no hacer más de un número limitado de consultas al día (creo recordar que unos 1000).

En CPAN encontrarás casi 400 módulos para dialogar con Google.

NotaPublicado: 2008-01-13 18:42 @821
por explorer
Alguien ha hecho la misma pregunta en otro foro y le han respondido casi lo mismo.

http://www.perlmonks.org/index.pl?node_id=662220

NotaPublicado: 2008-01-16 15:22 @682
por situ
Explorer,
Te hago una consulta. ¿Tenes algún script donde esté funcionado esto? Si esto es correcto podrás postear el código :d
Gracias

NotaPublicado: 2008-01-16 15:54 @704
por explorer
No, no tengo.

Pero tienes ejemplos en la sinopsis de los módulos WWW::Search::Google, Net::Google::Search y alguno más, supongo.

Según comentan en la noticia que he referido en el último post, Google ya no da más claves de uso.

Puedes probar a escribirles...

NotaPublicado: 2008-01-16 16:12 @717
por situ
ok.
Gracias