Foro - Perl en Español

Hola a todos!

Este es mi primer mensaje en el foro, ya que soy un aprendiz de Perl.

Mi problema es el siguiente:

Debo encontrar la forma (si es que existe) de extraer de varios textos las combinaciones entre palabras de una lista dada de palabras. Estamos hablando de 140 textos y una lista de alrededor de 1.300 palabras. Se trataría de ver cómo esos términos se repiten/combinan entre ellos en dichos textos.

El primer paso sería almacenar en una tabla Hash el listado de las palabras y las posibles combinaciones entre ellas.

Había pensado en realizar una aplicación con la siguiente estructura (os la pongo es pseudo-código):

Código: Seleccionar todo

for each file {
      for each word in current file {
      search for this word in keyword list hash table
           search for previous word in keyword list hash table
              if both are keywords {
                   search for this combination in list of combinations, and increase count by one
                   }
      }
   }

Os lo pongo en inglés porque lo tengo que desarrollar en dicho idioma, si alguien tiene algún problema que me lo diga

Espero que me aconsejeis sobre la mejor manera de realizarlo, y si estoy equivocado en el planteamiento de la estructura, admito sugerencias, recomendaciones, ayudas...

Un saludo y muchas gracias!!!

Fallo mío.

He calculado, que, si estamos buscando combinaciones de dos palabras, en el peor de los casos necesitaré unos 30Mb (asumiendo una longitud de 10 carácteres y sólamente almacenando el número de ocurrencias 1300*1300*(10+10), pero de todas formas dependerá del número de palabras que contegan los ficheros.

Espero que ahora haya quedado un poco más claro...

Un saludo y gracias!!!

Hola de nuevo, me está siendo de gran ayuda el código que posteaste, pero tengo algunos problemas con su ejecución desde Windows, ya que aún no consigo obtener los ficheros desde el directorio de mi disco duro.

¿cómo sería el código correspondiente en Windows?

Código: Seleccionar todo

     #!C:\perl\bin\perl.exe -w
     use warnings;
     use strict;
   
     # Leemos lista de palabras keywords
     my %keywords;
     while ( <DATA> ) {
         chomp;
         $keywords{$_} = 1;
     }
      foreach ( keys %keywords ) {
          print "$_\n";
      }
   
     # Para cada fichero...
     foreach my $nombre_fichero ( "C:\Perl\lib\Pod\perld*.pod" ) {
        print "Hola desde el foreach\n";
         # Nos leemos todo el fichero y lo dividimos en palabras
         my @palabras = do {
             my $fichero = do { local $/; open FH, "<$nombre_fichero"; <FH> };
             $fichero =~ /(\w+)/g;
         };
   
         print 'Número de palabras del fichero: ', scalar @palabras,"\n";
   
         # Para todas las palabras del fichero
         my %combinaciones;
         my $palabra_anterior = '';
         foreach my $palabra ( @palabras ) {
             if ( $keywords{$palabra} && $keywords{$palabra_anterior} ) {
                 $combinaciones{"$palabra_anterior|$palabra"}++;
             }
             $palabra_anterior = $palabra;
         }
   
         # Sacamos el resultado, si lo hay
         if ( keys %combinaciones ) {
             print "Fichero $nombre_fichero:\n";
             foreach my $combinacion ( sort keys %combinaciones ) {
                 print "\t$combinacion :", $combinaciones{$combinacion},"\n";
             }
         }
     }
   
     __DATA__
     Perl
     can
     from

En qué partes debería cambiar alguna cosa más?

Un saludo y muchisimas gracias por todo!!!

Hola de nuevo, gracias por responder tan rápidamente, pero sigo teniendo problemas...

El script funciona correctamente, pero en el fichero perldiag.pod encuentra 6 ocurrencias de Perl | can, pero realmente tan sólo debería mostrar una, ya que el resto son combinaciones de Perl | can't.

Por otra parte, cuando añado la palabra can't al resto de palabras en la sección DATA al final del código, me ignora las diferentes combinaciones existentes...

¿Cómo podría resolver ésto? Es decir, que tenga en cuenta palabras formadas por carácteres especiales como ( ' - )

Otra cosa: cuando se introduce Perl, ¿cómo puedo hacer que también busque la palabra "perl"? Es decir, que NO haga distinción entre mayúsculas y minúsculas?

De nuevo muchas gracias!!!

Hola de nuevo!

He estado viendo las modificaciones que has añadido al código y me han servido de mucho, ya que me resuelven todos los problemas que tenía, pero ahora se me presenta otro problema, os explico...

Necesito hacer lo que viene haciendo dicho código, pero en lugar de mostrar los resultados de las combinaciones fichero a fichero, necesito que me contemple todos los fichero como un único fichero, es decir, que muestre los resultados globales de todas las combinaciones acumuladas en cada uno de los ficheros...

No sé si me he explicado con sufiente claridad, pero lo que he propuesto es que haga lo mismo que hace, pero a nivel más global, indicando el directorio de los ficheros de texto y leyendolos uno a uno, guardando las combinaciones existentes y si al pasar a otro fichero existe la misma combinación añadirle uno más. Finalmente sacaría el resultado de todas las combinaciones de todos los textos.

*Hago una pequeña pregunta aparte, ¿cómo puedo mostrar los resultados ordenados por el número de ocurrencias que aparece, de mayor a menor frecuencia?

Muchas gracias por todo!!!