Foro - Perl en Español

por **colorado** » 2011-01-30 15:51 @702

Tengo este código:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

open (URLS, 'urls.txt');
my @urls = <URLS>;
chomp @urls;
close(URLS);
 
open (PROXY, 'proxy.txt');
my @proxy = <PROXY>;
chomp @proxy;
close(PROXY);
 
my $l = @urls;
 
 
for (my $i = 0; $i < @proxy; $i++) {
 
print "\n";
print "$urls[$i % $l]  $proxy[$i]";
 
$ua = new LWP::UserAgent();
$ua->proxy(['http', 'ftp'], "http://$proxy[$i]");
$resp = $ua->request(GET "$urls[$i % $l]")if 0 == ($i+1) % 3;
        
 
 
 
open(ARCHIVO,">>libros.txt");
binmode ARCHIVO;
print ARCHIVO $resp->{_content};
close(ARCHIVO);
 
 
 
};
Coloreado en 0.002 segundos,  usando GeSHi 1.0.8.4

Lo que quería era descargar unos documentos a través de proxies.

Para agilizar el proceso quería descargarlos de tres en tres, es decir, tres descargas simultaneas, utilizando un proxy diferente por cada una de las descargas.

Pero no funciona como quería.

Solo realiza la última descarga por cada bloque de tres.

¿¿Se puede solucionar??

Un saludo

Pero... por ninguna parte vemos threads, fork(), o el uso de POE... ¿cómo quieres hacer varias cosas a la vez si solo sucede una cosa a la vez?

Debes investigar el tema de cómo crear hebras de ejecución, o desplegar copias del mismo programa con fork(), o usar un mininúcleo multitarea como POE.

Por ejemplo, yo a veces he usado Parallel::ForkManager. Aquí tienes un ejemplo sacado de la carpeta de ejemplos de Parallel::ForkManager, donde se descargará todos los enlaces que se le pasen en la línea de comandos o por la entrada estándar (un volcado de un fichero de texto con los enlaces).

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/perl -w
use Parallel::ForkManager;
use LWP::Simple;
my $pm=new Parallel::ForkManager(10);
for my $link (@ARGV) {
  $pm->start and next;
  my ($fn)= $link =~ /^.*\/(.*?)$/;
  if (!$fn) {
    warn "Cannot determine filename from $fn\n";
  } else {
    $0.=" ".$fn;
    print "Getting $fn from $link\n";
    my $rc=getstore($link,$fn);
    print "$link downloaded. response code: $rc\n";
  };
  $pm->finish;
};
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

por **colorado** » 2011-01-30 17:33 @773

De nuevo, gracias por orientarme.

Parece difícil, pero le meteré caña al tema.

Ya te contaré.

Un saludo.

por **explorer** » 2011-01-30 17:50 @784

He encontrado dos ejemplos de casi lo mismo: usar Parallel::ForkManager para hacer peticiones simultáneas a varios proxy.

* Scrape the entire High scores
* Proxy Checker

por **colorado** » 2011-01-30 18:39 @819

sip, también googlee un rato y vi los ejemplos.

Fue más fácil de lo que parecía.

Por fin conseguí que funcionara

Eres un crack, explorer.

Muchas gracias de nuevo :wink:

Foro - Perl en Español

Bajar ficheros de tres en tres

Bajar ficheros de tres en tres

Publicidad

Re: Bajar ficheros de tres en tres

Re: Bajar ficheros de tres en tres

Re: Bajar ficheros de tres en tres

Re: Bajar ficheros de tres en tres

¿Quién está conectado?