Foro - Perl en Español

por **juank_93** » 2011-12-22 18:24 @808

¡je,je,je!, qué cosas, no me había fijado en la versión anterior...
esa me quita muchos embrollos...

Y pues el netcat lo utilizo en el puerto 23 con Remote Control, Firebug que me muestra "lo oculto
detrás del proceso" y para utilizarlo con Perl hay dos formas (supongo que hay más pero
solo he implementado estas dos)

Incorporarlo al proceso con un

system "nc opciones_de_netcat comando_a_enviar_al_navegador"

Utilizar el fuente que viene con él y leerlo con el módulo de Perl para C/C++.

Por supuesto no he terminado el proceso porque sino no estaría dando problemas acá

Estos comandos el Remote control los percibe solo si son en JavaScript, como el
objeto location y sus diferentes propiedades, etc...

De nuevo reitero que mi intención es utilizar los módulos de telnet (que supongo es lo indicado
ya que por algo existen) y no tener que liarme con netcat, pero cuando envío
el comando en JavaScript el navegador lo ejecuta, pero no me informa nada en
el script y la conexión se cierra antes de poder analizar los json.

Les agradezco infinitamente la ayuda.

explorer@casa:~/Documentos/Desarrollo> telnet localhost 32000

Trying 127.0.0.1...

Connected to localhost.

Escape character is '^]'.

document.links.length

{"result":124}

document.links.item(1).href

{"result":"http://perlenespanol.com/tutoriales/"}Coloreado en 0.000 segundos,  usando GeSHi 1.0.8.4

Entonces, lo que hay que hacer es indicar que el prompt, en realidad, es el siguiente avance de línea que recibamos.

Aquí hay un programa que permite cargar una página y recuperar todo el código HTML de la página, y luego los enlaces, por separado.

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/perl
use 5.010;
use strict;
use warnings;
use diagnostics;
 
### Módulos
use JSON;
use Net::Telnet;
use Try::Tiny;
 
### Objetos
my $json   = JSON->new;
my $telnet;
try {
    $telnet = Net::Telnet->new (
        Host   => 'localhost',
        Prompt => '/\n/',
        Port   => 32000,
    );
}
catch {
    die "ERROR: No pude conectarme: $_\n";
};
 
### Constantes
my $URL = 'http://perlenespanol.com/foro/index.php';
 
### Variables
my $res;
 
### Programa
## Carga inicial de la página
$res = comando("window.location = '$URL'");
$res eq $URL  or  die "ERROR en la carga de la página. Se recibió [$res]\n";
 
## Esperamos a que termine la carga de la página
do {                                                    # Repetimos...
    sleep 1;                                            # Cada segundo...
 
    $res = comando('document.readyState');              # pedimos estado de la carga de la página
                                                        # puede ser 'uninitialized', 'loading', 'interactive' y 'complete'
    $res or die "ERROR: No tenemos respuesta de la carga de la página\n";
 
    say "$res...";
 
} while ($res ne 'complete');                           # mientras no esté completada la carga
 
## Operaciones
# Todo el código HTML de la página
my $html = comando('document.body.innerHTML');
say "[$html]";
 
# Extracción de todos los enlaces
my $numero = comando('document.links.length');
 
for my $i (0 .. $numero-1) {
    my $enlace = comando("document.links.item($i).href");
    say "$i:$enlace";
}
 
 
### Subrutinas
## Ejecuta un comando en Firefox y devuelve la respuesta JSON decodificada
sub comando {
    my $comando = shift;
    my $res;
    $telnet->cmd(                                       # ejecutamos comando en el Firefox
        String => $comando,
        Output => \$res,                                # salida en formato JSON
    );
    my $respuesta_ref = $json->decode($res);            # que decodificamos
    return $respuesta_ref->{'result'};                  # y devolvemos su contenido
}
 
__END__
Coloreado en 0.003 segundos,  usando GeSHi 1.0.8.4

por **juank_93** » 2011-12-23 16:48 @741

Muchísimas gracias por el código, funciona perfectamente con cualquier página
que le indico al script, excepto por la que necesito :evil:

me aparece lo mismo
que cuando utilizo expresiones regulares sobre el método GET

javascript:CambiarFoto(0)
javascript:CambiarFoto(1)
javascript:CambiarFoto(2)
etc...

Igual voy a tomarme un poco más de tiempo para investigar, hurgar un poco en tu código y
aprender de él. También sobre el módulo Try::Tiny acerca del cual no sé nada.
Gracias y les estaré comentando si veo algo que pueda ayudar.

Gracias.

por **explorer** » 2011-12-23 20:33 @898

Bueno, pues entonces lo que puedes hacer es mandar ejecutar esa subrutina en el Firefox. Será como si hubiera pulsado el usuario para cargar las imágenes.

Lo que no sabemos es que es lo que realmente quieres hacer. A lo mejor hay una forma más sencilla de obtener lo que quieres.

por **juank_93** » 2011-12-23 22:17 @970

Así es, al enviar esta orden en el navegador cambia la imagen.

Lo que deseo hacer es tomar la URL de las imágenes, y procesarlas con wget.

Pero para pasárselas a wget debo tenerlas en http://.../img.jpg.

por **explorer** » 2011-12-25 07:36 @358

Pues ya lo tienes: le mandas la orden de cambiar la imagen, y a continuación preguntas el valor de la propiedad 'src' del <img> que almacena la imagen en pantalla.

Aunque... lo ideal sería averiguar la fórmula que usa para generar esos enlaces, analizando la subrutina de carga, y descargando entonces directamente las imágenes.

Recuerda también que si vas a hacer descargas masivas, debes avisar al propietario de la web y pedirle permiso.

por **juank_93** » 2011-12-25 17:40 @777

Pues entonces solo me queda desarrollar el código para esto y terminaría, pero sería interesante
saber lo segundo, ahora bien, ¿es posible hacerlo desde el lado del cliente?

Lo digo porque la página es en su mayoría dinámica (lo digo por observación de su comportamiento),
los enlaces y algunos <div> son generados con ASP y creería que lo que dices está totalmente oculto al cliente...

Al fin y al cabo no me interesan tanto las imágenes; lo hago porque desde que empecé
con Perl nunca nada me había llevado tanto tiempo y neuronas (cerca de un mes analizando
enlaces, descargando una y otra vez su index; incluso monté un servidor local para ver los
html en acción localmente) y pues me encantaría descubrir lo que se encuentra detrás del telón,
si es posible del lado del cliente, desde Windows.

Otra cosa a tener en cuenta es... no tengo ni la más remota idea de ASP... Solo lo que he
podido ver con este pequeño proyecto...

Gracias por todo y pues voy a añadir a la rutina lo último que dices, uno todos los pedacitos y
lo pruebo a ver qué tal va...

por **explorer** » 2011-12-26 08:09 @381

Cuando me refiero a averiguar cómo hace la carga de la foto, me refiero a estudiar qué hace la subrutina de JavaScript CambiarFoto().

Dices que la página se genera con ASP, pero no tienes acceso al servidor (porque si no, tendrías acceso directo a las imágenes y no existiría el problema iniciado en este hilo).

Entonces... poco nos interesa saber el lenguaje que crea la página, si no tenemos acceso a él. Solo podemos ver lo que recibimos: los códigos HTML y JavaScript que llegan a nuestro navegador.

Si la página se genera de forma dinámica, será por acción del código JavaScript de la página, que usará procedimientos para generar nuevo código, mover objetos por la página, y pedir más información al servidor.

Entre ellas estará la subrutina CambiarFoto(). Ella sabrá de dónde y cómo tiene que hacer para presentar una nueva imagen. Si está escrito de forma más o menos clara, y sabemos algo de JavaScript, podemos llegar a saber qué es lo que hace. Si no, no pasa nada: le pedimos a Firefox que la ejecute por nosotros, como hemos visto antes, y luego le pedimos la información que ha generado.

por **juank_93** » 2011-12-26 23:10 @007

¡Ah, Ok! Perdon, es que no lo capté así.

Bien, pues cargo la página, cargan los iconos, estilos a los menús y texto.
Después de estar completa la carga del código HTML, el servidor manda
un post a otra página ASP local http://www.sevidor/ws/wsGal.asmx/getLstGalerias
y el resultado del post es una lista tipo Id:url que se despliega en un div reemplazando
el id por la URL real.

Discúlpenme si estoy diciendo cosas repetidas pero es que de tanto trabajar en esto ya ni sé.
Por cierto, no sé si lo anterior tiene lógica ya que lo digo por lo que he observado con
Firebug; no tengo ni idea de JavaScript, solo HTML básico y Perl.

Gracias por la ayuda y paciencia.

por **juank_93** » 2012-01-01 18:54 @829

Muchísimas gracias por todos los consejos y ayudas...

Ya logré que mostrará el resultado que yo esperaba, tuve que quitarle el escáner
de enlaces que me diste por uno con expresiones regulares; hice un híbrido con el
que ya tenía de get y este último de telnet ya me muestra los resultados esperados
(en total 250 lineas de código).

Pongo la parte que daba problemas...

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

for my $camb ( 0 .. $contador - 1 ) {
    my $cambiarfoto = comando("JavaScript&#058;Gal_cambFot($camb)");
    my $html        = comando('document.body.innerHTML');
    my ($carga)     = ($html);
 
    my ($enlaces_img) = ( $carga =~ /<img src="http:\/\/www.servidor.com\/images\/(.*?)"/is );
 
    print "http://www.servidor.com/images/$enlaces_img\n";
 
 
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

Muchísimas gracias por todo... :roll:

Foro - Perl en Español

Extracción de URL desde una página ASP y JSON

Re: Extracción de URL desde una página ASP y JSON

Publicidad

Re: Extracción de URL desde una página ASP y JSON

Re: Extracción de URL desde una página ASP y JSON

Re: Extracción de URL desde una página ASP y JSON

Re: Extracción de URL desde una página ASP y JSON

Re: Extracción de URL desde una página ASP y JSON

Re: Extracción de URL desde una página ASP y JSON

Re: Extracción de URL desde una página ASP y JSON

Re: Extracción de URL desde una página ASP y JSON

Re: Extracción de URL desde una página ASP y JSON

¿Quién está conectado?