Manejos de archivos de texto de gran tamaño
Publicado: 2017-01-24 22:09 @964Saludos, Perl en Español.
Les comento que tengo a mi cargo el manejo de cierta información que está dividida en 6 archivos .txt los cuales están escritos en columnas con encabezados y separados por tabuladores "\t". Dichos archivos son bastante extensos (250 MB cada uno) y la información que contienen tiene información relacional entre los archivos.
Pretendo ingresar la información a bases de datos MySQL con DBI y para el procesamiento de archivos pienso leer los archivos línea a línea.
A continuación, una idea de mi código:
Me pregunto si me aconsejan algo para hacer mejor mi procesamiento de estos archivos tan grandes.
Gracias por adelantado.
Les comento que tengo a mi cargo el manejo de cierta información que está dividida en 6 archivos .txt los cuales están escritos en columnas con encabezados y separados por tabuladores "\t". Dichos archivos son bastante extensos (250 MB cada uno) y la información que contienen tiene información relacional entre los archivos.
Pretendo ingresar la información a bases de datos MySQL con DBI y para el procesamiento de archivos pienso leer los archivos línea a línea.
A continuación, una idea de mi código:
Using perl Syntax Highlighting
- @archivos ; # acá tengo las direcciones de los archivos .txt
- foreach my $archivo (@archivos){
- open (ARCHIVO, $archivo);
- while(my $fila = <ARCHIVO>){
- my @arreglo_fila = split '\t', $fila;
- #
- # acá pretendo poner la consulta que ingresará la información a base de datos
- #
- }
- close ARCHIVO;
- }
Coloreado en 0.002 segundos, usando GeSHi 1.0.8.4
Me pregunto si me aconsejan algo para hacer mejor mi procesamiento de estos archivos tan grandes.
Gracias por adelantado.
