Foro - Perl en Español

1) Si son pocos documentos, puedes hacer que el propio Perl abra los documentos y busque por su interior, con un simple grep(), por ejemplo. Si son unos pocos más, hay que pensar en alguna base de datos que nos permita guardar los documentos y una búsqueda dentro de ellos (fulltext). Mira, por ejemplo, Search::Fulltext. Si son muchos, pues entonces entramos en el terreno de la indexación de los documentos, para hacer las búsquedas más rápidas.

2) Tienes varias opciones: String::Approx, Text::Soundex, Algorithm::Diff, Text::Metaphone, ...

3) Eso que pides es muy complicado. De hecho, dada una ristra de bytes, no es posible decir, con total seguridad, a qué codificación pertenece. Encode::Guess es lo que más se acerca a lo que quieres, pero no está garantizado en absoluto el éxito de la operación. En el propio manual se indica que, para aumentar la probabilidad de acierto, hay que pasarle el nombre de las codificaciones que "sospechamos" en que puede estar el texto.

Bueno, aún siendo archivos CSV, son archivos de texto, así que se puede buscar en ellos con un grep() (si el número de documentos no es excesivo, claro).

Lo que hay que hacer es partir la entrada del usuario, en palabras (\w+) y luego recorrer cada documento, asignándole una nota según contenga más o menos palabras de las que ha ingresado el usuario.

Algo así:

• obtener la lista de palabras que introduce el usuario
• por cada documento a mirar
• contar uno por cada palabra que el documento contenga: $contador++ while /lista|palabras/g;
• repetir para todos los documentos
• sacar el listado de documentos ordenados de mayor a menor nota.

Naturalmente, esto es muy simplista, porque

• habría que desechar antes las palabras que introduce el usuario y que no aportan valor a la búsqueda (por ejemplo, las preposiciones)
• no encuentra palabras similares (si pone abad, encuentra abadía, pero si pone disfraz, no encuentra disfraces)

Para lo primero, es fácil: un grep() que desestime las palabras más comunes.
Para lo segundo, se podría ampliar la búsqueda usando alguno de los módulos indicados antes, para buscar similitudes. Pero habría que hacerlo palabra por palabra. Mejor entonces leer el documento, sacar las palabras diferentes, desechar las no interesantes, y buscar en el resto coincidencias con lo que se busca.

Humm... creo que vas a tardar menos si buscas algún módulo así en CPAN.

Casi todos los motores de búsqueda de tamaño medio-grande usan un sistema de indexación previa de los contenidos, para que luego la búsqueda se haga lo más rápido posible.

Tienes un montón de soluciones que abarcan muchos niveles: Lucy, Catmandu, ElasticSearch, WebService::Solr... estos son para grandes volúmenes de información. Search::Fulltext sí que te puede servir para lo que quieres, para un volumen de tamaño medio. AnyData o DBD::CSV para poco volumen.

Bueno, 20 000 registros no es mucho, así que el escenario 3 podría ser también el 2.

La clave es leer el CSV, leer los campos que te interesan, y aplicar la expresión regular en todos los registros, y quedarte con los que cumplen la coincidencia. Ordenarlos luego según el nivel de coincidencia, y sacarlos en ese orden.

Si todos los campos son de texto entonces sí que podemos decir que estamos haciendo una búsqueda fulltext si le aplicamos una expresión regular (o cualquier otra función de búsqueda, como index(), rindex)

Entonces haces pruebas de tiempos, y si te vale, bien. Si te va lento, pues entonces una solución sería pasar todos los archivos CSV a base de datos, y ahí sí que pones los campos que quieres en los que se puede hacer una búsqueda fulltext (explicación y ejemplo para MySQL).