Foro - Perl en Español

por **Zeokat** » 2007-09-26 14:33 @648

He creado el siguiente código:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/perl -w
use strict;
use HTTP::Request;
require LWP::Parallel::UserAgent;

my$pua= LWP::Parallel::UserAgent->new();
$pua->in_order(1);# handle requests in order of registration
$pua->duplicates(1);# ignore duplicados
$pua->timeout(100);# segundos
$pua->redirect(0);# sigue las redirecciones
$pua->max_hosts(4);# maximo numero de hosts paralelos
$pua->max_req(1);# maximo numero de requests paralelos


open(INDICE,"indice.txt");#Abro el archivo que contiene las urls
my@reqs=<INDICE>;

foreachmy$req(@reqs){
print"Registering '".$req->url."'\n";
my$response=$pua->request($req);
my$content=$response->content();
print$response->code,":",$response->message,"\n";

}Coloreado en 0.006 segundos,  usando GeSHi 1.0.8.4

El archivo indice.txt contiene:

Código: Seleccionar todo: HTTP::Request->new('GET', http://www.google.es) HTTP::Request->new('GET', http://www.yahoo.es) HTTP::Request->new('GET', http://www.msn.com) HTTP::Request->new('GET', http://www.mtv.es)

El error que devuelve:

Código: Seleccionar todo: Can't use 'HTTP::Request->new('GET', http://www.google.es)' as an HTTP::Request object. Ignoring at C:\Practicas Perl\Leecher\temp_recode.pl line 73 Can't call method "content" without a package or object reference at C:\Practica s Perl\Leecher\temp_recode.pl line 74, <INDICE> line 4.

Sin embargo el siguiente ejemplo tomado de CPAN funciona perfectamente:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

require LWP::Parallel::UserAgent;
use HTTP::Request;
# shortcut for demo URLs
my$url="http://localhost/";

my$reqs=[

   HTTP::Request->new('GET',$url),

   HTTP::Request->new('GET',$url."homes/marclang/"),
];

my$pua= LWP::Parallel::UserAgent->new();
$pua->in_order(1);# handle requests in order of registration
$pua->duplicates(0);# ignore duplicates
$pua->timeout(2);# in seconds
$pua->redirect(1);# follow redirects

foreachmy$req(@$reqs){
print"Registering '".$req->url."'\n";
if(my$res=$pua->register($req)){
printSTDERR$res->error_as_HTML;
}
}
my$entries=$pua->wait();

foreach(keys%$entries){
my$res=$entries->{$_}->response;
print"Answer for '",$res->request->url,"' was \t",$res->code,": ",
$res->message,"\n";
}Coloreado en 0.004 segundos,  usando GeSHi 1.0.8.4

Yo lo que intento es tomar de un txt los hosts, pero no sé por qué no funciona... ¿alguien se le ocurre algo?. Saludos.

Estás leyendo un fichero de texto. Lo que dice creating021 es cierto: no puedes pretender que ese texto se convierta en un objeto HTTP::Request real.

Una forma de hacerlo sería con un eval(), pero me parece complicarlo un poco...

Una solución sencilla sería:
* En el fichero de texto pon solo las URL
* Y en el programa, en el bucle foreach, al principio, haces un

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

my$peticion= HTTP::Request->new('GET',$req);Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

y usas $peticion en el resto del bucle, como un objeto -ahora sí, real- HTTP::Request.

por **Zeokat** » 2007-09-27 07:32 @355

Sí, solucionado, con un foreach y escribiendo las urls en un txt.

Gracias.

por **Zeokat** » 2007-09-27 13:37 @609

Mmm.... la verdad esque no noto que tenga conexiones simultaneas con el LWP parallel, la velocidad sigue siendo la misma que usan el LWP normal...

el codigo se quedo asi:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

use strict;
use HTTP::Request;
require LWP::Parallel::UserAgent;
my$pua= LWP::Parallel::UserAgent->new();

$pua->in_order(1);# handle requests in order of registration
$pua->duplicates(1);# ignore duplicates
$pua->timeout(100);# in seconds
$pua->redirect(0);# follow redirects
$pua->max_hosts(8);# sets maximum number of locations accessed in parallel
$pua->max_req(3);# sets maximum number of parallel requests per host

#Generating requests
open(INDICE,"indice.txt");#Abro el archivo que contiene las urls
my@unique_urls=<INDICE>;
my@reqs;
foreachmy$unique_url(@unique_urls){
my$peticion= HTTP::Request->new(GET =>"$unique_url");
push(@reqs,$peticion);
}

#Downloading urls source code.
foreachmy$req(@reqs){
print"Downloading: ".$req->url."  ";
my$response=$pua->request($req);
my$content=$response->content();
print$response->code,":",$response->message,"\n";

}Coloreado en 0.015 segundos,  usando GeSHi 1.0.8.4

Aun modificando $pua->max_hosts(10); a un valor mas alto sigo sin notar aunemto de velocidad.... mmm.... no se que esta pasando.... alguna idea?

Foro - Perl en Español

Problema con LWP::Parallel

Problema con LWP::Parallel

Publicidad

¿Quién está conectado?