Foro - Perl en Español

Si lo entiendo bien, queréis que la aplicación use menos CPU porque la necesitáis para otros procesos.

Bueno, es otra forma de decir que queréis que vaya algo más lento

Si estáis en Linux/UNIX es muy sencillo, porque solo tenéis que lanzar la aplicación con un cierto nivel de nice (una prioridad más baja).

Por ejemplo,


De esta manera, el proceso solo usará el tiempo de CPU que quede libre después de dárselo a los principales.

En un problema tan sencillo como este (comparar nombres de dos bases de datos), no se me ocurren muchas formas de aumentar el procesamiento a costa de aumentar la memoria.

En otras situaciones usaría el módulo Memoize para recordar comparaciones a costa de usar más memoria, pero es que en este caso, no se da esa circunstancia: siempre hay que comparar todos los valores de una con la del otro.

Habría optimizaciones interesantes, como por ejemplo, si dos calles coinciden, suponemos que es la misma, entonces, las sacamos de los arreglos. De esta manera, los arreglos se van haciendo cada vez más pequeños. Y aumenta la velocidad.

Otra opción que se me ocurre: ordenar antes (con sort()) los arreglos que guardan el nombre de las calles. Se supone entonces que las calles con igual letra estarán a un mismo nivel de profundidad. Y si le añadimos la opción de sacarlos de los arreglos si coinciden, entonces irá más rápido aun.

Como regla general, si alguien pregunta cómo aumentar el consumo de memoria para intentar aumentar el rendimiento del programa, la solución es decirle que cambie el modelo de datos que está usando, que es lo que te he comentado en los párrafos anteriores.

Falta más información sobre cómo son los datos o el problema, para dar más pistas. Si solo es el código mostrado, otra posibilidad que se me ocurre es intentar optimizar la función String::Trigram::compare(). O usar otra menos costosa.

Cuando yo me refiero a sacar del arreglo los coincidentes, quiero decir que voy desalojando los arreglos de búsqueda, pero, desde luego, voy almacenando los encontrados en un nuevo arreglo o estructura de datos.

En el ejemplo que pones, estás imprimiendo esos resultados. Pues a eso me refiero: si dos elementos a comparar les puedo considerar iguales, les imprimo y/o guardo y los elimino de los arreglos de búsqueda (porque ya les he localizado). O al menos la elimino del arreglo de las nuevas calles. El objetivo es ir haciendo el arreglo de las nuevas calles cada vez más pequeño y evitar hacer comparaciones con calles que ya he localizado.

En cuanto a las alternativas, hay en CPAN unos cuantos módulos para hacer comparaciones entre cadenas de texto. Algunos de ellos están al final de la documentación del propio String::Trigram. Además, agrego String::Diff, String::Alignment, String::Compare, String::CyclicRotation, String::Examine, String::KeyboardDistance, String::LCSS y el último en aparecer, hace unos días, String::Similarity::Group.

Te cuento que yo mismo tuve que enfrentarme a un problema parecido, cuando había que "casar" nombres de personas de 3 bases de datos distintas, la más pequeña de 200.000 y la más grande de casi 3 millones. Usando diversas técnicas, con los módulos indicados (incluyendo el Soundex, que dio muy buen juego), se redujeron los no coincidentes a 4000, que no hubo manera de casar más que yendo uno por uno. Pero bueno, en unas horas los hicimos coincidir a todos.

Con shift() estás sacando el primer elemento del @$array. ¿Seguro que es el primer elemento el que quieres sacar?

En circunstancias parecidas, tenía que quitar elementos que estaban en mitad del array. Para eso, se utiliza la función splice().

En cuanto al código, sería interesante ver si has hecho algún cambio importante con respecto al que mostraste en el primer mensaje, porque al verle, me he dado cuenta de que, al encontrar dos calles coincidentes, se podría hacer que no siguiera en el bucle más interior, saliendo con un last, por ejemplo.