Ver Tema

situ · 2011-03-14 12:23 @558

Buenas,
Los molesto porque estoy intentando jugar con user-agent y el contenido que me muestra según sea el UA.
El script me funciona perfecto. El tema es que quiero guardar los output con el nombre del user agent, el cual muchas veces es de muchos caracteres.

Syntax: [ Download ] [ Hide ]

Using perl Syntax Highlighting

#!/usr/bin/perl
BEGIN {
 
    eval "use HTTP::Request";
 
    if ( $@ ) {
 
        warn  "Error al cargar el modulo: HTTP::Request\n"
 
        . "Instalar Modulo:\n"       
 
        . "\t\tcpan\n"
 
        . "\t\tcpan> install HTTP::Request\n";
 
exit ();
 
 }
 
}
 
use LWP::UserAgent;
use HTTP::Request;
 
if ( @ARGV != 2 ) {
 
    die "\nUso: $0 <url> <user-agents.txt>\n\n"
 
      . "   <url>                Dominio a probar       [ej -> <!-- m --><a class="postlink" href="http://www.domain.com">http://www.domain.com</a><!-- m -->]\n"
      . "   <user-agents.txt>    Lista de users-agents  [ej -> user-agents.txt]\n"
      ;
 
}
 
$url= $ARGV[0];
chomp $url;
 
$file = $ARGV[1];
chomp $file;
 
# Si la url no tiene http: al principio
if ( $url !~ /^http:/ ) {
# lo añadimos
$url = "http://" . $url;
}
 
# Si la url no tiene / al final
if ( $url !~ /\/$/ ) {
# lo añadimos
$url = $url . "/";
}
 
# abrimos la lista de users-agents
open  $FILE, '<', $file or die $!;
@archivos = <$FILE>;
 
$ua = LWP::UserAgent->new;    
 
for  $archivo(@archivos){
    chomp $archivo;  
$ua->agent("$archivo");
$req = HTTP::Request->new(GET => $url);
$response = $ua->request($req);
$content = $response->content();
open (F,">>", "$archivo.html")or die "Couldn't open: $!";
print F $content;
close (F)
}
 

Ejecución:

Syntax: [ Download ] [ Hide ]

Using text Syntax Highlighting

tux@tux:/tmp$ perl cambiar-user-agent.pl localhost user-agents.txt

Couldn't open: No existe el fichero o el directorio at cambiar-user-agent.pl line 65, <$FILE> line 5.

Contenido del archivo user-agents.txt

Syntax: [ Download ] [ Hide ]

Using text Syntax Highlighting

curl

wget

BlackBerry

Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, Like Gecko) Version/6.0.0.141 Mobile Safari/534.1+

Mobile

¿Cómo puedo solucionar mi problema?

Saludos.

explorer · 2011-03-14 12:39 @569

Es muy posible que el error esté en las barras inclinadas ('/') que aparecen en los nombres de agente, haciéndole creer al open() de que se tratan de nombres de directorios, en lugar de formar todos juntos el nombre de un fichero.

Una forma obvia de resolverlo sería eliminar los caracteres extraños, pero si lo que se quiere es crear ficheros con la máxima semejanza a los nombres de agente de usuario, lo que podemos hacer es "escapar" el significado de esos caracteres.

Una forma rápida de probarlo sería con:

Syntax: [ Download ] [ Hide ]

Using perl Syntax Highlighting

open (F,">>", "\Q$archivo\E.html") or die "Couldn't open: $!";

La secuencia de escape "\Q" hace un escapado de todos los caracteres que no son "caracteres de palabra", hasta la secuencia de escape "\E" o el final de la cadena.

Más información en perldoc perlop, sección Quote and Quote-like Operators.

situ · 2011-03-14 12:48 @575

Voy a leer la ayuda, gracias.
Con el cambio que me recomendaste me sigue diciendo lo mismo.
Saludos.

explorer · 2011-03-14 13:25 @601

El error dice que está al leer la quinta línea del fichero de nombres de agente... ¿qué agente ha leído?

Pinta el valor de "$archivo" a pantalla, para que veas cuál es el que provoca el fallo. Hazlo con un print "[$archivo]\n"; .

situ · 2011-03-14 15:09 @672

Llega hasta acá

Citar:

[curl]
[wget]
[BlackBerry]
[Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, Like Gecko) Version/6.0.0.141 Mobile Safari/534.1+]
Couldn't open: No existe el fichero o el directorio at cambiar-user-agent.pl line 66, <$FILE> line 5.

Digamos que falta el user-agent "mobile", ya que mi archivo tiene los siguientes UA definidos:

Citar:

curl
wget
BlackBerry
Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, Like Gecko) Version/6.0.0.141 Mobile Safari/534.1+
Mobile

Saludos.

explorer · 2011-03-14 15:32 @689

El problema sigue estando en los caracteres '/'.

Estoy casi seguro que hay una manera de escaparlos, pero depende del sistema operativo que tengas instalado.

Yo cambiaría los caracteres '/' por un '_' con una expresión regular:

$archivo =~ s{/}{_}g;

antes de escapar el resto de caracteres:

$archivo = "\Q$archivo";

situ · 2011-03-14 15:35 @691

Como siempre, un lujo =) Muchas gracias.
Saludos.

Publicidad

Socializa