Foro - Perl en Español

por **Vertik** » 2011-06-10 06:42 @321

Hola,

Estoy haciendo un script que dado un texto me devuelva todos sus tokens.

Dado este texto:

Sintáxis: [ Descargar ] [ Ocultar ]

Using text Syntax Highlighting

Tras admitir que cada uno "puede tomar sus propias decisiones" aunque el Gobierno no espera un "comportamiento irracional" de los clientes sacando cantidades excesivas de dinero, el jefe de la política económica del Ejecutivo ha justificado el aval de hasta 9.000 millones sobre los fondos depositados en Caja Castilla-La Mancha en que, en cualquier caso, había que prever este extremo. "Pueden pedir su dinero con toda tranquilidad, pero si no le hace falta utilizarlo no tienen ninguna necesidad de cambiar de entidad", ha asverado Solbes en declaraciones posteriores a TVE.Coloreado en 0.000 segundos,  usando GeSHi 1.0.8.4

Obtener la separación de palabras y signos de puntuación.

Pues no sé cómo hacerlo bien del todo, me explico.

Con un:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

 split(\b,$linea) #siendo linea el texto
Coloreado en 0.002 segundos,  usando GeSHi 1.0.8.4

el resultado es aproximadamente lo que quiero, pero el caso de 9.000 falla, ya que me los separa.

Entonces, jugando con un validador de expresiones regulares, la expresión:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

[a-zA-Zàáóòíéèúñ]+|\d+(.\d+)?|[,."?¿]
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

haciendo matchAll me caza todas los tokens que quiero.

Entonces, ¿cómo puedo hacer para que dada esta expresión Perl me genere un array donde cada elemento/posición sea un match de ella?

¡Mil gracias!

#!/usr/bin/perl
use Modern::Perl;        # somos modernos
use utf8;                # este programa está escrito en utf8
#use autodie;            # es mejor morir que regresar con deshonor (proverbio Klingon)
use open qw(:utf8 :std); # la salida y la entrada estándar serán en utf8
 
my $_ = q(
Tras admitir que cada uno "puede tomar sus propias decisiones" aunque el
Gobierno no espera un "comportamiento irracional" de los clientes sacando
cantidades excesivas de dinero, el jefe de la política económica del Ejecutivo
ha justificado el aval de hasta 9.000 millones sobre los fondos depositados en
Caja Castilla-La Mancha en que, en cualquier caso, había que prever este
extremo.  "Pueden pedir su dinero con toda tranquilidad, pero si no le hace
falta utilizarlo no tienen ninguna necesidad de cambiar de entidad", ha
aseverado Solbes en declaraciones posteriores a TVE.
);
 
my %tokens;
 
while (/( \d+(?:[.,]\d+)* | [[:punct:]] | \w+ )/gx) {      
 
    say $1;
 
    $tokens{ $1 }++;
}
 
for (sort {$tokens{$b} <=> $tokens{$a}} keys %tokens) {
    say "$_ => $tokens{$_}";
}
 
__END__
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

Sale (al principio):

Sintáxis: [ Descargar ] [ Ocultar ]

Using text Syntax Highlighting

" => 6

de => 6

, => 5

en => 4

no => 3

que => 3

el => 3

dinero => 2

ha => 2

. => 2

los => 2

su => 1

excesivas => 1

sus => 1

tomar => 1

tienen => 1

ninguna => 1

Castilla => 1

económica => 1

política => 1Coloreado en 0.000 segundos,  usando GeSHi 1.0.8.4

En el patrón, buscamos por conjuntos de dígitos con separador de millares y decimales (\d+(?:[.,]\d+)*), caracteres de puntuación ([[:punct:]]), y palabras (\w+) (aquí, las palabras incluyen aquellas con un '_').

por **RGP_perl** » 2011-08-26 08:07 @380

Muchas gracias por esta solución. Me parece muy útil.

Si en vez de colocar el texto en "my $_ = q(...) quisiera ejecutar el código directamente sobre un archivo (e.g., Users/rgp/Desktop/Test.html), ¿cómo lo haría exactamente?

He probado añadiendo

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

use File::Slurp;
 
my $_ = read_file('/Users/rgp/Desktop/Test.html');
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

y parece funcionar, pero no sé si es lo más indicado en este caso.

Por último, ¿sería posible adaptar el script de modo que los tokens aparecieran ordenados por número de aciertos, como ahora, pero luego por orden alfabético?

Muchas gracias.

RGP

por **explorer** » 2011-08-26 09:35 @441

A mí me parece correcto la forma de leerlo.

Para sacar los tokens por orden alfabético, hay que ordenarlos por las claves:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

for (sort keys %tokens) {
    say "$_ => $tokens{$_}";
}
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

Por defecto, si no se le dice nada a sort{}, ordenará por orden alfabético.

por **RGP_perl** » 2011-08-26 10:31 @480

explorer escribiste:A mí me parece correcto la forma de leerlo.

Perfecto. Entonces ya no hay de qué preocuparse.

explorer escribiste:Para sacar los tokens por orden alfabético, hay que ordenarlos por las claves:

Sintáxis: [ Descargar ] [ Ocultar ]
Sintáxis: [ Descargar ] [ Mostrar ]
Using perl Syntax Highlighting
for (sort keys %tokens) {

say "$_ => $tokens{$_}";

}

Coloreado en 0.001 segundos, usando GeSHi 1.0.8.4

Por defecto, si no se le dice nada a sort{}, ordenará por orden alfabético.

Me temo que no he sabido expresarme correctamente. Me refería a establecer un orden dentro de otro orden. Primero los tokens que aparecen 6 veces (o 5 o las que sean), y dentro de ese grupo que aparecieran listados alfabéticamente, luego los que aparecen 5 veces, y así sucesivamente. Así, por remitirme al ejemplo original, saldría esto:

Gracias de nuevo, y disculpas por la falta de claridad en mi anterior mensaje.

RGP

por **explorer** » 2011-08-26 21:23 @932

Bueno, pues entonces hay que encadenas varias ordenaciones:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

my @claves_ordenadas
    = sort {
        $tokens{$b} <=> $tokens{$a}
                    ||
                 $a cmp $b
    }
    keys %tokens
    ;
 
for ( @claves_ordenadas ) {
    say "$_ => $tokens{$_}";
}
Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

Primero realiza la ordenación por los valores, en orden numérico, por orden inverso, y si son iguales, se activa la segunda ordenación, por las claves, por medio de una comparación alfanumérica, en orden ascendente.

Más ejemplos en perldoc -f sort.

Foro - Perl en Español

Extracción de todos los tokens de un texto

Extracción de todos los tokens de un texto

Publicidad

Re: Extracción de todos los tokens de un texto

Re: Extracción de todos los tokens de un texto

Re: Extracción de todos los tokens de un texto

Re: Extracción de todos los tokens de un texto

Re: Extracción de todos los tokens de un texto

Re: Extracción de todos los tokens de un texto

¿Quién está conectado?