Foro - Perl en Español

Resulta que tengo un archivo collada .dae. Es un xml de los programas de 3D Maya y 3d Studio.

Pero resulta que tengo que pasar una información a una DB y este archivo pesa nada más y nada menos que 250 Mb y tiene unas 8 600 000 de líneas...

Si lo recorro en un while() demora casi 18 minutos solo para recorrerlo. Si lo quiero pasar a un array, fuera de que me consume 1 Gb de RAM me demora 40 minutos...

Quería usar XML::Simple para poder leer la estructura y sacar la información que necesito pero jamás termina de hacerlo.

Ahora podría filtrar el archivo ya que la información que necesita está dentro de una etiqueta especial y es por la línea más o menos 8 millones...

En sí tengo una solución, pero no sé en Perl si hay algo más cómodo para trabajar con estos archivos tan grandes...

Si el XML está más o menos bien formado (formateado), entonces la marca que buscamos, inicio y final, estarán cada uno en una línea distinta.

Con el operador rango puedes restringir la búsqueda a solo esas líneas.

Lo que no entiendo es por qué te tarda tanto en leer los ocho millones de líneas en tanto tiempo...

¿No será que estás usando Windows, verdad?

Sí, claro, uso Windows... Ahora, el alojamiento para donde va es Linux pero pues si es más rápido trato ahí, pero me da miedo que colapse, pues son varios archivos, no es solo uno, y no están en una posición definida, solo conozco el nombre de la etiqueta que enmarca la información que necesito.

Y ¿qué versión de Perl tienes en tu Windows?

¿Cuántas operaciones realizas dentro del bucle while() para que tarde 18 minutos?

¿Cuánto tarda en leer el archivo si el while() no realiza ninguna operación -solo leer las líneas-?

Da igual que la etiqueta se componga de una marca de apertura y otra de cierre, o una sola, o en dos líneas o en una sola. Con el operador rango la puedes sacar fácilmente. Y si sabes que no se va a repetir más que solo una vez a lo largo del archivo, cuando terminas de leerla, haces un last y sales inmediatamente del bucle.

Edito: en mi ordenador (1.5 Ghz AMD Athlon 64 Processor 3000+) con un Linux 3.4.11 x86_64, soy capaz de procesar 10 157 872 líneas de un xml, en poco más de 40 s (el xml consiste en 4 copias consecutivas de la ejecución de mame -listxml).

Uso Active State Perl v5.16, creo...

Sólo necesito sacar el dato de la etiqueta <node id="elemento1"> y guardarla en la DB.

Pero hasta ahora no hago nada, solo tengo un simple código que... hummm... es mentira:
se demoró eso imprimiendo cada línea en consola. Creo que por eso demoró 17 minutos...

La otra forma es que me gustaría mejor pasar el XML a una estructura de datos...

Lo único que sé es que es un árbol de N niveles CON agrupaciones que pueden tener X cantidad de nodos, y pues, me gustaría lograr pasar todo a un array y lograr de ahí leer esa información más fácil...

Ejemplo del archivo:
La información está dentro de la etiqueta <visual_scene id="" name="">.
Me interesa los <node> pero hay <node> padres e hijos y así mismo debe insertarlo en la BD... darle un id al padre para relacionar con los hijos, etc....

XML::Simple no es capaz de leer archivos tan grandes. O sí es capaz pero tarda muchísimo, o se agota la memoria.

Hay otras técnicas para leer XML grandes, como las que se comentan en este artículo, pero el problema lo tienes entonces en querer almacenar la estructura en memoria. Si con XML::Simple no entraba, menos lo hará con otros módulos: sencillamente, no entra. Pero si de todo el archivo solo estás interesado en ciertos nodos, XML::Parse::PerlSAX (y muchos otros) te pueden servir, ya que dispararán eventos cuando encuentren las marcas de apertura y cierre de las etiquetas, y si se trata de una etiqueta que nos interesa podemos capturar su interior.

Es más: el propio XML::Simple puede trabajar de esa manera. En las últimas versiones puede hacer uso de la biblioteca SAX2, para recrear la estructura que un filtro haya extraído del XML con la ayuda de SAX2 (ver sección SAX SUPPORT en el manual de XML::Simple).

Otra opción sería hacer varias pasadas. La primera extraería las líneas que sólo nos interesan. De allí le agregamos unas marcas XML falsas al principio y al final, y ya se lo podemos pasar a XML::Simple (si aún cabe todo en memoria, claro).

Sí señor, lo que tu me dices está bien...

Cuando yo filtro el archivo son unas seiscientas mil líneas de XML que es donde está la información...

Quería pasarlo a memoria porque, como entiendo, son nodos de una estructura de árbol, eso yo no lo entiendo bien...

Usaré esa forma; filtraré y se lo pasaré al XML::Simple para ver si aún cabe en memoria...

Gracias