Foro - Perl en Español

por **Abraham** » 2013-07-22 18:19 @804

Otra vez pasando por aquí.

Tengo un problema. Al tratar de automatizar el uso de este convertidor online a través de perl usé el LWP::UserAgent pero no funciona. No funciona porque el servidor es algo especial y sumado a mis pocos conocimientos es fatal pero creo conocer lo básico. Paso a explicar lo que he podido analizar con este servidor:

Primero aislé el form que hace una petición POST al servidor (al parecer hacía una petición JSON. Esa parte la borré y ahora solo es un "simple" POST).

Sintáxis: [ Descargar ] [ Ocultar ]

Using html4strict Syntax Highlighting

<html>
<body>
<form id="forms" class="forms" action="http://www23.online-convert.com/es/inicio-conversion-imagen" name="forms" method="post">
        <input type="text" name="external_url" id="external_url" value="http://www.madboxpc.com/wp-content/uploads/2011/07/opera_next_12.jpg">
        <input type="checkbox" name="equalize" value="1"> Ecualizar
        <input type="checkbox" name="normalize" value="1"> Normalizar
        <input type="checkbox" name="enhance" value="1"> Mejorar
        <input type="checkbox" name="sharpen" value="1"> Enfocar
        <input type="checkbox" name="antialias" value="1"> Antialias
        <input type="checkbox" name="despeckle" value="1"> Eliminar manchas
        <input type="submit">
        <input type="hidden" name="string_method" value="convertir-a-webp">
</form>
</body>
</html>
 
Coloreado en 0.002 segundos,  usando GeSHi 1.0.8.4

El código HTML hace una conversión de una URL JPG a WEBP.

Inspeccionando con la herramienta del Chrome veo esto (con el método POST, sus cabeceras):

Request URL:http://www23.online-convert.com/es/inicio-conversion-imagen
Request Method:POST
Status Code:302 Moved Temporarily
Request Headers
Accept:text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Encoding:gzip,deflate,sdch
Accept-Language:es-ES,es;q=0.8
Cache-Control:max-age=0
Content-Length:128
Content-Type:application/x-www-form-urlencoded
Host:www23.online-convert.com
Origin:null
Proxy-Connection:keep-alive
User-Agent:Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.72 Safari/537.36
Form Data view source view URL encoded
external_url:http://www.madboxpc.com/wp-content/uploads/2011/07/opera_next_12.jpg
string_method:convertir-a-webp
Response Headers view source
Cache-Control:no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Connection:keep-alive
Content-Encoding:gzip
Content-Length:20
Content-Type:text/html
Date:Mon, 22 Jul 2013 22:47:36 GMT
Expires:Thu, 19 Nov 1981 08:52:00 GMT
Location:http://www.online-convert.com/es/resultado/accc0a9071ee3547238b8088528ee57e
Pragma:no-cache
Server:Apache
Set-Cookie:OC_PHPSESSID=3grah00tcff5plhih9vvr9e3fr8hcbj3m0bg28ituvgvntmkg6h1; expires=Mon, 29-Jul-2013 22:47:40 GMT; path=/; domain=.online-convert.com; HttpOnly
Vary:User-Agent,Accept-Encoding
Via:1.0 Internet_Kawaii_El_Alto-Bolivia_2012 (squid/3.1.19)
X-Cache:MISS from Internet_Kawaii_El_Alto-Bolivia_2012
X-Cache-Lookup:MISS from Internet_Kawaii_El_Alto-Bolivia_2012:3128
X-Powered-By:PHP/5.3.17submit

En la parte de Response Headers existe un valor de redirección (creo): Location:http://www.online-convert.com/es/resultado/accc0a9071ee3547238b8088528ee57e. En esta URL se encuentra la respuesta de la conversión. En este caso la URL de la imagen en formato WEBP.

Aunque existe una cookie en esta parte, al parecer no es importante ya que en el navegador las cookies están borradas y bloqueadas.

La respuesta que da este servidor al parecer es solamente las cabeceras y nada en el contenido, redireccionándolo inmediatamente a esa URL de Location.

Tratando de hacer esto con LWP useragent recibo una página de error generado por el servidor (no son los típicos errores de HTML).

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

use CGI       qw(:standard      );
use CGI::Carp qw(fatalsToBrowser);
use LWP::UserAgent;
 
 
my $url = "http://www23.online-convert.com/es/inicio-conversion-imagen";
my $query = "external_url:http%3A%2F%2Fwww.madboxpc.com%2Fwp-content%2Fuploads%2F2011%2F07%2Fopera_next_12.jpg&string_method:convertir-a-webp";
 
my $ua = LWP::UserAgent->new;
   $ua->agent('Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36');
 
my $req = HTTP::Request->new(POST => $url);
   $req->content_type('application/x-www-form-urlencoded');
   $req->content($query);
 
my $response = $ua->request($req);
my $content  = $response->content(); # contenido de la respuesta. AQUÍ ESPERO RECIBIR NADA, AL IGUAL QUE EL NAVEGADOR, PERO RECIBO EL ERROR GENERADO
 
print "Content-type: text/txt\n\n";
print $content;
 
Coloreado en 0.002 segundos,  usando GeSHi 1.0.8.4

Falta algo y no sé qué puede ser.

Apelando a sus conocimientos me despido esperando una respuesta... Gracias.

¿Y cuál es el error que aparece?

Lo que veo en el código... es que creo que el POST no se hace de la forma correcta. Por ejemplo, en $query, tienes el valor con códigos URL, lo cual no es necesario, ya que LWP se encargará de eso.

my $query = "external_url=http://www.madboxpc.com/wp-content/uploads/2011/07/opera_next_12.jpg&string_method=convertir-a-webp";

Repasa la documentación de lwpcook, para ver ejemplos sencillos de POST.

por **Abraham** » 2013-07-22 21:25 @934

Bueno, esa URL es el archivo de origen.

En un convertidor tenemos el origen y el destino, ¿¿¿verdad???

Ese dato puede ser un archivo que subiría al servidor en la página http://imagen.online-convert.com/es/convertir-a-webp

external_url=http://www.madboxpc.com/wp-content/uploads/2011/07/opera_next_12.jpg

external_url es la variable y la URL es el dato.

Lo he probado codificándolo también como http%3A%2F%2Fwww.madboxpc.com%2Fwp-content%2Fuploads%2F2011%2F07%2Fopera_next_12.jpg y no funciona.

El error es:

501 No implementado

Y es por eso que digo que es un error generado por el servidor.

Pienso que la solución iría por leer las cabeceras que el servidor PHP entrega al realizar la consulta POST ya que uno de ellos, Location, tiene la URL de respuesta, pero para eso lo que se entrega al contenido debería de ser vació y no esa página de error.

por **explorer** » 2013-07-23 07:42 @362

La cosa no es tan sencilla: la página con el formulario es cierto que devuelve una redirección.

Esa nueva dirección lleva a una página de espera (no a la imagen resultado). La página de espera es un código HTML que contiene un <iframe>, que muestra el progreso de la conversión.

El <iframe> enlaza a otra página, que va mostrando el progreso. En un momento dado (no es inmediato), la conversión termina, y obtenemos otro HTML (el tercero) donde se nos informa que ha terminado y nos dan el enlace (por fin) a la imagen convertida, para que la bajemos.

En tu programa, no entiendo porque sacas un "Content-type", al final. ¿Estás ejecutando tu propio programa como si fuera un CGI?

Esta es la solución que he encontrado (una de muchas) para bajar la imagen ya convertida:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/perl 
use v5.10;
use HTTP::Request::Common;      # método POST
use LWP::UserAgent;             # agente de usuario HTTP
use LWP::Simple;                # métodos get, getstore
 
## Definimos nuestro agente de usuario
my $ua = LWP::UserAgent->new(
    agent       => 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.116 Safari/537.36',
    timeout     => 20,
    cookie_jar  => undef,
);
 
## Hacemos nuestra petición POST de conversión
my $respuesta = $ua->request(
    POST 'http://www19.online-convert.com/es/inicio-conversion-imagen',
        [
            external_url        => 'http://www.madboxpc.com/wp-content/uploads/2011/07/opera_next_12.jpg',
            width               => '',
            height              => '',
            color               => 1,
            equalize            => 1,
            normalize           => 1,
            enhance             => 1,
            sharpen             => 1,
            antialias           => 1,
            despeckle           => 1,
            dpi                 => '',
            submit_button       => 'Convertir archivo',
            string_method       => 'convertir-a-webp',
        ]
);
#say $respuesta->as_string;
 
say "Es info"     if $respuesta->is_info;
say "Es éxito"    if $respuesta->is_success;
say "Es redirect" if $respuesta->is_redirect;
say "Es error"    if $respuesta->is_error;
 
my $location = $respuesta->header('Location');                    # extraemos el campo Location:
say "Location: $location";
 
my $pagina_espera = get($location);                               # pedimos esa nueva página
#say "URL espera: $pagina_espera";
 
                                                                  # buscamos el enlace en el marco de espera
my($enlace_pagina_descarga) = $pagina_espera =~ /<iframe id="download_try" .+? src="(.+?)"/;
say "URL descarga: $enlace_pagina_descarga";
 
while(1) {                                                        # bucle infinito
    say "Espera..."; sleep 2;                                                         # esperamos un par de segundos
 
    my $pagina_descarga = get($enlace_pagina_descarga);                               # vemos el resultado de la conversión
 
    if ($pagina_descarga =~ /Tu archivo ha sido convertido/) {                        # nos dicen que sí ha sido convertido
 
        my($enlace) = $pagina_descarga =~ /"(.+?)">enlace de descarga directa/;       # entonces, sacamos el enlace de descarga
 
        if ($enlace) {
            getstore($enlace, 'imagen.webp');                                         # bajamos la imagen a nuestro disco
            say "Descargada la imagen";
        }
 
        last;                                                                         # y terminamos el bucle (salimos)
    }
}
Coloreado en 0.002 segundos,  usando GeSHi 1.0.8.4

Sintáxis: [ Descargar ] [ Ocultar ]

Using bash Syntax Highlighting

> ./kk.pl

Es redirect

Location: http://www.online-convert.com/es/result ... 29355be7f8

URL descarga: http://www.online-convert.com/es/descar ... 29355be7f8

Espera...

Descargada la imagenColoreado en 0.002 segundos,  usando GeSHi 1.0.8.4

por **Abraham** » 2013-07-23 09:41 @445

Sí que funciona, pero surge un problema, (que ya esperaba, aunque, no me había pasado aún, ¿sera el while?) esperare el tiempo y lo probaré de nuevo pero este límite, no me gusta nada, están en su derecho, solo me queda la satisfacción de haber aprendido este método, que se va a la colección de códigos y lo usaré en otros propósitos:

Mensaje de error
Ha habido demasiadas peticiones de conversión desde tu dirección de IP en las últimas 24 horas. Por favor, prueba más tarde.

El "Content-type" del final, efectivamente, es un CGI. La razón es porque tengo un servidor Apache para mi red interna con Linux y no es de fácil acceso y por eso opté por esta, que considero una solución, para probar código Perl...

GRACIAS, explorer.

por **explorer** » 2013-07-23 11:13 @509

Abraham escribiste:Sí que funciona, pero surge un problema, (que ya esperaba, aunque, no me había pasado aún, ¿sera el while?) esperare el tiempo y lo probaré de nuevo pero este límite, no me gusta nada, están en su derecho, solo me queda la satisfacción de haber aprendido este método, que se va a la colección de códigos y lo usaré en otros propósitos:

Mensaje de error
Ha habido demasiadas peticiones de conversión desde tu dirección de IP en las últimas 24 horas. Por favor, prueba más tarde.

Lo dice claramente en las condiciones de uso: «The services provide the following types of service levels: "Free", "24h", "Silver", "Gold" and "Platin". The Customer acknowledges and agrees that the Provider may establish general practices and policies concerning the use of the services, including, without limitation, the maximum number of files that a Customer may upload through the services, the maximum size of the files that a Customer may convert through the services, the maximum number of hours or days that a file will be stored by the services, and the maximum number of times a user may access the services in a given period of time.»

O sea, que según les pagues, tendrás más o menos servicios. Lista de precios y servicios.

Abraham escribiste:El "Content-type" del final, efectivamente, es un CGI. La razón es porque tengo un servidor Apache para mi red interna con Linux y no es de fácil acceso y por eso opté por esta, que considero una solución, para probar código Perl...

¿Que no es de fácil acceso? Yo accedo a todos mis Linux a través de SSH. No es necesario tener un servidor Apache entero para ver la ejecución de un programa que puede lanzarse desde la misma línea de comandos. Solo necesitas un programa de terminal, como PuttySSH (en caso de Windows).

por **Abraham** » 2013-07-23 15:53 @704

Estás en lo correcto.

Ahora, sobre Linux entiendo poco, pero cada día un poco más. El servidor Apache lo implementé hace mucho y lo uso en la red interna con PHP y últimamente con CGI y de ahí salió esa pseudo solución. Veré el SSH, pero por ahora tengo no más, ya que el proyecto se basa y espero que se base en CGI.

por **explorer** » 2013-07-23 16:41 @737

Si tienes un Linux, no necesitas de ningún conversor externo.

Basta con instalar el software ImageMagick (o compatible), que seguro que lo tienes en la lista de software que puedes instalar, y ejecutas

Sintáxis: [ Descargar ] [ Ocultar ]

Using bash Syntax Highlighting

$ identify -list formatColoreado en 0.001 segundos,  usando GeSHi 1.0.8.4

y verás docenas de formatos de imagen que puedes convertir de uno a otro (incluido el WEBP).

Es más, apuesto a que esa web está usando ImageMagick

Incluso apostaría a que ya lo tienes instalado

(a veces viene de base).

por **Abraham** » 2013-07-23 19:59 @874

Es correcto si solo quisiera la conversión, ahí se oculta un propósito mas...

Ya, en fin, el proyecto global se trata de mejorar el acceso a Internet de la red interna, ¿y por qué eso?, simplemente por no contar con una conexión decente, no por lo que yo lo quise así, si no que no hay de otra, el ADSL parece que jamás llegará por estos lados, y más cuando han aparecido esos "dichosos" modems de 3G y 4G que se cobra por megas y además el número de conexiones está limitado. Las empresas ISP han comenzado a dar prioridad a estos aparatitos móviles. Y ahora sólo cuento con una conexión de 1Mbps por WIMAX que solo garantiza el 30 %.

Gracias a Squid, Apache, (PHP y Perl), PostgreSQL he ideado un "sistema" más o menos aceptable.

Cómo te podrás dar cuenta ese propósito oculto era de aprovechar la compresión del WEBP comparado al JPG y no solo de las imágenes...
Y con esto mejorar el ancho de banda de mi triste conexión, ¡ja, ja, ja, ja!
El sistema funciona, o funcionaba por ese límite que impone el servidor; aun pagando 1GB por mes no abastecería.

Y por eso, cuando nace una idea, voy en busca de códigos que me serían útiles para mi propósito.

por **explorer** » 2013-07-23 20:23 @891

Te entiendo. Yo también estuve en esa situación, pero lo resolví usando el lynx o el links (navegar en puro texto), así que podías acceder y leer lo que quisieras, con muy poco consumo.

Hoy en día, en alguna situación especial (estás fuera de casa, no tienes tarifa plana de datos móviles), pues con ir a las propiedades de Firefox, pestaña Contenido, puedo desactivar la carga automática de las imágenes, con lo que yo decido qué imagen quiero ver, en cada momento, y así se limita fácil el consumo.

Foro - Perl en Español

Usar un convertidor online desde perl

Usar un convertidor online desde perl

Publicidad

Re: Usar un convertidor online desde perl

Re: Usar un convertidor online desde perl

Re: Usar un convertidor online desde perl

Re: Usar un convertidor online desde perl

Re: Usar un convertidor online desde perl

Re: Usar un convertidor online desde perl

Re: Usar un convertidor online desde perl

Re: Usar un convertidor online desde perl

Re: Usar un convertidor online desde perl

¿Quién está conectado?