Foro - Perl en Español

Hola, después de unas largas y muy largas vacaciones he vuelto a Perl, de donde no me he debí de ir, jajaja.

Un compañero de trabajo y yo estamos tratando de optimizar un script ya que consume mucha CPU pero no memoria. Disponemos de un equipo con una Intel Core Duo y 2Gb de RAM, y de RAM no consume más de 32mb. Necesitamos CPU para otros procesos, sobre todo para la BD que está en MySQL.

El script son dos arrays que se comparan usando el paquete trigrams.

Dependiendo de su similaridad iremos creando elsif() para cada uno y las acciones que han de tomar.

¿Es posible optimizarlo?

Las listas no bajan de 1 millón de registros en la BD y son nombres de calles.

¡¡¡Muchas gracias!!!

Si lo entiendo bien, queréis que la aplicación use menos CPU porque la necesitáis para otros procesos.

Bueno, es otra forma de decir que queréis que vaya algo más lento

Si estáis en Linux/UNIX es muy sencillo, porque solo tenéis que lanzar la aplicación con un cierto nivel de nice (una prioridad más baja).

Por ejemplo,


De esta manera, el proceso solo usará el tiempo de CPU que quede libre después de dárselo a los principales.

Ok, muchas gracias.

¿Y si quiero que use más memoria, qué tendría qué hacer / ejecutar?

En un problema tan sencillo como este (comparar nombres de dos bases de datos), no se me ocurren muchas formas de aumentar el procesamiento a costa de aumentar la memoria.

En otras situaciones usaría el módulo Memoize para recordar comparaciones a costa de usar más memoria, pero es que en este caso, no se da esa circunstancia: siempre hay que comparar todos los valores de una con la del otro.

Habría optimizaciones interesantes, como por ejemplo, si dos calles coinciden, suponemos que es la misma, entonces, las sacamos de los arreglos. De esta manera, los arreglos se van haciendo cada vez más pequeños. Y aumenta la velocidad.

Otra opción que se me ocurre: ordenar antes (con sort()) los arreglos que guardan el nombre de las calles. Se supone entonces que las calles con igual letra estarán a un mismo nivel de profundidad. Y si le añadimos la opción de sacarlos de los arreglos si coinciden, entonces irá más rápido aun.

Como regla general, si alguien pregunta cómo aumentar el consumo de memoria para intentar aumentar el rendimiento del programa, la solución es decirle que cambie el modelo de datos que está usando, que es lo que te he comentado en los párrafos anteriores.

Falta más información sobre cómo son los datos o el problema, para dar más pistas. Si solo es el código mostrado, otra posibilidad que se me ocurre es intentar optimizar la función String::Trigram::compare(). O usar otra menos costosa.

Después de una pequeñas vacaciones de verano, de regreso al trabajo, jajaja.

Efectivamente es necesario comparar una contra la otra, ya que la otra es una lista que ya hemos trabajado y digamos que tenemos bien localizadas, la cosa es a las nuevas contrastarlas con las que tenemos. Por eso, la opción de sacar del arreglo si coinciden no nos resulta útil.

Cuando hacemos las consultas, ambas ya vienen ordenadas, sí que se gana tiempo, el primer test que hicimos tardó poco más del doble de tiempo sin "order by".

Sugieres usar otra menos costosa ¿como cuál?

¡¡¡De nuevo gracias por dar respuestas a mis dudas!!!

Cuando yo me refiero a sacar del arreglo los coincidentes, quiero decir que voy desalojando los arreglos de búsqueda, pero, desde luego, voy almacenando los encontrados en un nuevo arreglo o estructura de datos.

En el ejemplo que pones, estás imprimiendo esos resultados. Pues a eso me refiero: si dos elementos a comparar les puedo considerar iguales, les imprimo y/o guardo y los elimino de los arreglos de búsqueda (porque ya les he localizado). O al menos la elimino del arreglo de las nuevas calles. El objetivo es ir haciendo el arreglo de las nuevas calles cada vez más pequeño y evitar hacer comparaciones con calles que ya he localizado.

En cuanto a las alternativas, hay en CPAN unos cuantos módulos para hacer comparaciones entre cadenas de texto. Algunos de ellos están al final de la documentación del propio String::Trigram. Además, agrego String::Diff, String::Alignment, String::Compare, String::CyclicRotation, String::Examine, String::KeyboardDistance, String::LCSS y el último en aparecer, hace unos días, String::Similarity::Group.

Te cuento que yo mismo tuve que enfrentarme a un problema parecido, cuando había que "casar" nombres de personas de 3 bases de datos distintas, la más pequeña de 200.000 y la más grande de casi 3 millones. Usando diversas técnicas, con los módulos indicados (incluyendo el Soundex, que dio muy buen juego), se redujeron los no coincidentes a 4000, que no hubo manera de casar más que yendo uno por uno. Pero bueno, en unas horas los hicimos coincidir a todos.

jajaja, eso es exactamente lo que necesito y claro está que tengo más de un año haciéndome el loco / tonto para no resolver lo de los nombre de personas, que en mi caso es de más de 2 millones. La diferencia entre las calles y las personas, es que de ésta última solo tenemos unos pocos bien identificados.

Sigo dándole vueltas y no mejoro nada, la opción de si dos nombres de calles coinciden sacarla del array me gusta, pero no consigo hacerlo.

Añado shift(@{$array}); después de cada if(), pero no funciona.

¿Qué estoy haciendo mal?

Estoy un poco desesperado, jajajajaa.

Con shift() estás sacando el primer elemento del @$array. ¿Seguro que es el primer elemento el que quieres sacar?

En circunstancias parecidas, tenía que quitar elementos que estaban en mitad del array. Para eso, se utiliza la función splice().

En cuanto al código, sería interesante ver si has hecho algún cambio importante con respecto al que mostraste en el primer mensaje, porque al verle, me he dado cuenta de que, al encontrar dos calles coincidentes, se podría hacer que no siguiera en el bucle más interior, saliendo con un last, por ejemplo.

No, la verdad es que hice tantas pruebas que me volví a la primera versión ya que, aunque es lenta funciona bastante bien.

Unos ejemplos de calles:


Tengo una tabla en MySQL con el nombre bien identificado y por lo general más desarrollado. Por ejemplo:



El script:


Claro, ahora me doy cuenta que, ciertamente, el valor no tiene por qué ser el primero. Voy a peor, jajajaja.