Foro - Perl en Español

por **explorer** » 2011-06-07 03:56 @205

Quizás no haya un solo espacio entre el </span> y el </div>...

P.D. Recuerda que este es el foro Intermedio... aquí hay menos pistas que en el foro Básico

Tienes un problema, teofederico.

Según la licencia legal de este sitio, en la cláusula 3 (CONDUCTA), dice, refiriéndose al usuario que accede a la web:

«No utilizar medios automáticos, con inclusión de arañas, robots, rastreadores, herramientas de ataque a datos, o similares para descargar información del Servicio, salvo los motores de búsqueda de Internet (por ejemplo, Google) y archivos públicos no comerciales (por ejemplo, archive.org) que cumplen con nuestro archivo robots.txt;»

Eso quiere decir que no podemos ayudarte para extraer información de esta web, pues estaríamos violando esa licencia.

por **teofederico** » 2011-06-07 14:34 @648

Entiendo perfectamente.

Gracias de todas forma por su ayuda, les repito que yo hacía años no tocaba esto y nada, me estoy poniendo de nuevo, había hecho algo similar, pero para detectar insultos y otras cosas en la publicaciones que hacían en una web.

Lamento haberlos envuelto en esto.

Saludos.

por **explorer** » 2011-06-07 15:39 @693

Bueno, el truco consiste en "no-dar-muchas-pistas" de qué es lo que queremos hacer...

No quitaré el hilo, pero sí esconderé el enlace a la web inicial.

Esta es mi solución:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/perl
use Modern::Perl;               # somos modernos
use utf8;                       # este programa está escrito en utf8
use autodie;                    # es mejor morir que regresar con deshonor (proverbio Klingon)
use open qw':utf8 :std';        # la entrada y la salida es en formato utf8
use Encode 'decode_utf8';       # la web también está en utf8
use LWP::Simple;
 
## Obtenemos la página
my $web = get('http://www.inxxxxxxxxxxxxxxxtina.com.ar/casas-en-venta-174');
 
die "ERROR: No pude obtener la página web" if not $web;
 
my $página = decode_utf8($web);                         # lo pasamos de utf8 a caracteres
 
 
## Obtenemos la sección principal
my($contenido) = $página =~ m{<div class = 'list-right' id='listFilter'>\s+(.+?)\s+<div id="slot_bottom"}s;
 
 
## Leemos el $contenido, dividiendo por partes
$/ = q(<div class="classified-summary">);
 
open my $CASAS, q[<:utf8], \$contenido;
 
while (<$CASAS>) {              
 
    if (
        m{            
                <h2><a[ ]href=" (?<URL>.+?) "> (?<título>.+?) <
                .+?
                <p> \s* (?<descripción>.+?) \s* <
                .+?
                class='d'> \s* (?<fecha>.+?) <
                .+?
                <a .+? > (?<categoría>.+?) <
                .+?
                class="price-list"> \s* (?<precio>.+?) \s* <
        }sx
    ) {
        say "URL:         [$+{URL}]";
        say "Título:      [$+{título}]";
        say "Descripción: [$+{descripción}]";
        say "Fecha:       [$+{fecha}]";
        say "Categoría:   [$+{categoría}]";
        say "Precio:      [$+{precio}]";
        say '';
    }
}
 
close   $CASAS;
 
__END__
URL:         [/cordoba/casas-en-venta/a-vender-casa-4-dormit-de-categoria-en-obra-country-la-paloma/509471]
Título:      [A VENDER CASA 4 dormit. de CATEGORIA en OBRA - COUNTRY LA PALOMA]
Descripción: [ESPECTACULAR CASA de CATEGORIA 4 dormit. en OBRA GRUESA - en Barrio Country LA PALOMA
de 270 mts.2 proyectados en plano aprobado, 220 mts.2 construidos (cimientos, paredes y  techo), sobre un  terreno de 1250 mts.2, ...]
Fecha:       [06/06 16:22]
Categoría:   [Córdoba - Casas en venta]
Precio:      [$ 0,00]
 
URL:         [/santa-fe/casas-en-venta/casa-2-dormitorios-a-estrenar-pueblo-esther/353613]
Título:      [CASA 2 DORMITORIOS A ESTRENAR - PUEBLO ESTHER-]
Descripción: [Barrio Cerrado SOL PARANA. Ubicado sobre la Ruta AO12, a 2km de la Autopista Rosario-Buenos  Aires. Dúplex a estrenar en dos plantas. Luminosa. Estar-comedor. Cocina semiseparada. Toilette. En P.A.: 2 dorm con placard...]
Fecha:       [06/06 16:02]
Categoría:   [Santa Fe - Casas en venta]
Precio:      [U$S 170.000,00]
 
URL:         [/santa-fe/casas-en-venta/departamentos-1-2-y-3-dormitorios-lofts-a-estrenar-rosario/330316]
Título:      [Departamentos: 1, 2 y 3 Dormitorios. LOFTS. A estrenar. ROSARIO.]
Descripción: [Semipisos y Pisos Exclusivos. 1 y 2 Dormitorios. 
Pisos Exclusivos 2 y 3  Dormitorios. Lofts. Vista al Rio. Quincho. Pileta. 
Opción 2 cocheras por  unidad. Excelentes detalles, calidad de construcción y terminación...]
Fecha:       [06/06 16:02]
Categoría:   [Santa Fe - Casas en venta]
Precio:      [U$S 69.000,00]
 
 
Coloreado en 0.003 segundos,  usando GeSHi 1.0.8.4

por **teofederico** » 2011-06-07 15:53 @703

Bueno, estoy impresionado... gracias

Me has cambiado todo ¡ja,jamja! por dios, qué desastre que soy...

Voy a intentar reproducir el código.

Tuve que quitar la librería Moderno Perl.

Recibí el resultado

Malformed UTF-8 character (unexpected non-continuation byte 0x67, immediately after start byte 0xe1) at C:\ProyectosPerl\Props\base.pl line 201.
Malformed UTF-8 character (unexpected non-continuation byte 0x74, immediately after start byte 0xed) at C:\ProyectosPerl\Props\base.pl line 210.
Malformed UTF-8 character (unexpected non-continuation byte 0x6e, immediately after start byte 0xf3) at C:\ProyectosPerl\Props\base.pl line 210.
Malformed UTF-8 character (unexpected non-continuation byte 0x61, immediately after start byte 0xed) at C:\ProyectosPerl\Props\base.pl line 210.
Sequence (?<... not terminated in regex; marked by <-- HERE in m/<h2><a[ ]href=" (?<URL>.+?) "> (?<t <-- HERE / at C:\ProyectosPerl\Props\base.pl line 210.

También uní todo (para probar).

Sintáxis: [ Descargar ] [ Ocultar ]

while (<$CASAS>) {
if ( m{<h2><a[ ]href=" (?<URL>.+?) "> (?<título>.+?) <.+?<p> \s* (?<descripción>.+?) \s* <.+?class='d'> \s* (?<fecha>.+?) <.+?<a .+? > (?<categoría>.+?) <.+?class="price-list"> \s* (?<precio>.+?) \s* <}sx ) {
say "URL: [$+{URL}]";
say "Título: [$+{título}]";
say "Descripción: [$+{descripción}]";
say "Fecha: [$+{fecha}]";
say "Categoría: [$+{categoría}]";
say "Precio: [$+{precio}]";
say '';
}
}

Voy a seguir probando de está manera...

por **explorer** » 2011-06-07 17:25 @767

Claro que salen errores...

si quitas módulos, es muy posible que salgan errores

Instalar módulos, en Perl, es bastante sencillo... No lleva mucho tiempo. Y algunos ahorran mucho trabajo. Fíjate que el programa se queda corto.

Lo que sí tiene que quedar claro, es que estamos en el foro Intermedio, así que, yo aquí, uso técnicas avanzadas (bueno, no demasiadas; no es el foro Avanzado :twisted:

)

La expresión regular se puede escribir así, con espacios y separada en líneas, gracias a la opción /x.

Una cosa que a lo mejor no te funciona, son las capturas con nombre: (?<nombre>...), que sólo funcionan a partir de Perl v5.10.

El módulo Modern::Perl activa varias opciones. Una de ellas es la

use feature ':5.10';

que activa las opciones nuevas de Perl v5.10; entre ellas, la sentencia say().

Y, bueno, usar utf8 te permite usar caracteres acentuados en los nombres de las variables. Por eso, puedo poner $página, en lugar de $pagina.

Un detalle importante... yo he creado mi programa en un entorno utf8 (en mi Linux). El "use open qw(:utf8 :std);" indica que la entrada estándar del programa (que no usamos) y la salida estándar (que sí usamos con el say()) deben salir los caracteres en esa codificación.

Necesitamos el módulo Encode porque la página que descargamos viene en esa codificación.

(Bueno, ahora que lo pienso, quizás no haga falta la línea 14, ya que en la 24 ya indicamos que el $contenido está en utf8. Edito: confirmado: el módulo Encode se puede ahorrar.)

El truco está en la línea 22. La variable $/ es el delimitador de los registros de entrada. Ahí podemos decir qué separan a unos registros de otros. En este caso, ponemos el comienzo de <div>, por lo que Perl se encargará de darnos las entradas, partiendo el $contenido por ese valor.

La línea 24, para mí, es un hito: es la primera vez que "abro" una variable escalar como si fuera un fichero (con open()). Lo aprendí hace poco, y en algunas situaciones, como esta, es muy útil.

La expresión regular de la línea 29 separa los componentes con espacios en blanco y en líneas separadas, gracias a /x como he dicho antes. Por eso, en la primera línea de la exp. reg. hay un "[ ]" porque ese espacio sí que es significativo para el patrón (no separa partes del patrón, sino que forma parte del propio patrón, de lo que estamos buscando). El resto de la exp. reg. no tiene misterio: siempre usamos .+? para buscar y/o capturar.

De hecho... he complicado demasiado el programa...

Se puede reducir a esto:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/perl
use LWP::Simple;
 
my $web = get('http://www.inmuxxxxxxxtina.com.ar/casas-en-venta-174');
 
while ($web =~ m{<h2><a href="(.+?)">(.+?)<.+?<p>\s*(.+?)\s*<.+?class='d'>\s*(.+?)<.+?<a.+?>(.+?)<.+?class="price-list">\s*(.+?)\s*<}gs) {
    print "URL:         [$1]\n";
    print "Título:      [$2]\n";
    print "Descripción: [$3]\n";
    print "Fecha:       [$4]\n";
    print "Categoría:   [$5]\n";
    print "Precio:      [$6]\n\n";
}
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

Bueno, al menos hemos aprendido cosas nuevas.

Foro - Perl en Español

Consulta por expresión regular

Re: Consulta por expresión regular

Publicidad

Re: Consulta por expresión regular

Re: Consulta por expresión regular

Re: Consulta por expresión regular

Re: Consulta por expresión regular

Re: Consulta por expresión regular

Re: Consulta por expresión regular

Re: Consulta por expresión regular

Re: Consulta por expresión regular

Re: Consulta por expresión regular

¿Quién está conectado?