Foro - Perl en Español

por **MARKO** » 2016-10-10 19:28 @853

Hola, Perl en Español. Quisiera saber si me pueden orientar en cómo poder automatizar la descarga de lotes de archivos.

http://www.amm.org.gt/pdfs2/post_despac ... _DICIEMBRE
http://www.amm.org.gt/pdfs2/post_despac ... 10_OCTUBRE

la cual contiene archivos correspondientes a cada día (como se ve en la imagen adjunta) y pues cuando se pulsa en el nombre del archivo inmediatamente se presenta la opción de descargarlo.

Lo que pretendo es bajar lotes de archivos de varios meses, varios años, y pues quisiera saber qué idea me dan para automatizarlo.

El fin primordial sería darle al script el rango de fechas (año, mes, ya que con esto se maneja a qué página me dirijo y los nombres de los archivos .zip que se bajarán) que contienen los archivos y una ubicación para descargar y que el programa se encargue de entrar a las páginas y baje el total de archivos contenidos.

De antemano, gracias por la ayuda.

Bueno, necesitas un par de bucles para recorrer los años y los meses. Y un hash para traducir de nombre de mes a número de mes.

Los archivos a bajar tienen nombres predecibles, así que no necesitas técnicas de rascado web para sacar los enlaces. Con LWP::Simple debería ser sencillo bajar los que quieras.

por **MARKO** » 2016-10-12 15:10 @674

Gracias por el truci. Gracias al mismo, logré hacer este script y funciona de maravilla.

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/env perl
use strict;
use LWP::Simple;
use Date::Calc q(Days_in_Month);
 
##inicio
my $anioini = '2007';
 
##final
my $aniofin = '2015';
 
my %meses = (
    '01' => 'ENERO',
    '02' => 'FEBRERO',
    '03' => 'MARZO',
    '04' => 'ABRIL',
    '05' => 'MAYO',
    '06' => 'JUNIO',
    '07' => 'JULIO',
    '08' => 'AGOSTO',
    '09' => 'SEPTIEMBRE',
    '10' => 'OCTUBRE',
    '11' => 'NOVIEMBRE',
    '12' => 'DICIEMBRE'
);
 
for my $anio ( $anioini .. $aniofin ) {
 
    foreach my $mes ( sort { $a <=> $b } keys %meses ) {
 
        my $dias_mes = Days_in_Month( $anio, $mes );
 
        foreach my $dia ( 01 .. $dias_mes ) {
 
            $dia = '0' . $dia if $dia < 10;
 
            my $url = 'http://www.amm.org.gt/pdfs2/post_despacho/POSDESPACHO_DIARIO/'.$anio.'/'.$mes.'_'.$meses{$mes}.'/PD'.$anio.$mes.$dia.'.zip';
 
            my $archivo = 'PD' . $anio . $mes . $dia . '.zip';
 
            getstore( $url, $archivo );
        }
 
    }
}
Coloreado en 0.005 segundos,  usando GeSHi 1.0.8.4

por **explorer** » 2016-10-12 16:28 @728

Enhorabuena.

Solo unos detalles extra...

Cambiando la línea 33 de

foreach my $dia ( 01 .. $dias_mes ) {
a
foreach my $dia ( '01' .. $dias_mes ) {

(entrecomillar el número) te ahorras la línea 35.

Otro detalle es a la hora de componer cadenas de caracteres. Las comillas simples respetan todo lo que pongamos dentro, mientras que las dobles harán una interpolación. Eso quiere decir que si dentro ponemos variables, las interpolará a su valor actual.

Así, las líneas 37 y 39 se pueden reescribir así:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

            my $url = "http://www.amm.org.gt/pdfs2/post_despacho/POSDESPACHO_DIARIO/$anio/${mes}_$meses{$mes}/PD$anio$mes$dia.zip";
 
            my $archivo = "PD$anio$mes$dia.zip";
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

Lo único que hay que tener cuidado es saber la sintaxis que requiere Perl para los nombres de las variables. En resumen: letras, números y el carácter '_'. Todo lo demás es ignorado. Por eso podemos mezclar variables con texto normal, en las líneas anteriores. Ahora bien... tendríamos un problema porque la variable $mes va seguida de un '_' y Perl creería que nos referimos a la variable '$mes_'. Por eso está metida entre llaves, para aislar del '_' que le sigue. Y también podemos poner sin problemas '$meses{$mes}', porque, para Perl, si "algo" se parece a un elemento de un hash, es que debe ser eso, y lo trata tal cual.

por **MARKO** » 2016-10-12 16:36 @733

Gracias, explorer. Como siempre, muy buenos aportes.

Foro - Perl en Español

Automatizar una descarga de lotes de archivos

Automatizar una descarga de lotes de archivos

Publicidad

Re: Automatizar una descarga de lotes de archivos

Re: Automatizar una descarga de lotes de archivos

Re: Automatizar una descarga de lotes de archivos

Re: Automatizar una descarga de lotes de archivos

¿Quién está conectado?