Foro - Perl en Español

por **zangre** » 2010-06-22 04:48 @242

Hola de nuevo, ya estoy aquí a la carga otra vez. :roll:

Veamos, tengo un fichero con un montón de datos (el que tengo que importar a un MySQL), y quiero que no sea sólo para ese fichero sino para todos y así generalizar un poco el código. El fichero, son datos sobre investigaciones científicas y cuando el dato no ha sido posible sacarlo, lo señalan con un "-".

Por el momento, todos los datos que no están al final de línea, los detecto tranquilamente con un dato eq '-' y los paso a NULL. El problema viene en todos los guiones que están al final de la linea, que no los reconoce y me pone el dichoso guioncito en el MySQL.

Pongo el código:

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/Applications/XAMPP/xamppfiles/bin/perl
use ConectarDB;
use strict;
use warnings;
use Data::Dumper;
use DBI;
 
#Abro, recojo los datos y cierro el fichero
open (FICHERO, "<TaulaDefinitiva.txt") or die "ERROR: No se encuentra el fichero texto.txt\n";
my @texto = <FICHERO> or die "ERROR: No puedo leer el fichero\n";
close FICHERO or die "ERROR: No se puede cerrar el fichero\n";
 
#Separo el el texto, en los diferentes elementos (separados con comas)
my @lineas;
foreach ( @texto ) {
  push @lineas, [ split /,/];
}
 
#Inicio y conecto con mysql
my($dbh,$sth);
$dbh = ConectarDB->connect();
 
#Código html
print "Content-type: text/html\n\n";
print "<html>\n";
print "<body bgcolor=#CCCCCC>\n";
print "miau<br><br><br><br><br>\n";
 
my ($columnes, $query);
 
#Recorro el texto del fichero
for (my $j  = 0;  $j < @lineas; $j++ )
{
  #Si es primera fila, recogemos el nombre de las columnas
    if($j == 0) {
      #Borramos la tabla anterior si existía
         eval { $dbh->do("DROP TABLE IF EXISTS tablaPrueba") };
            print "Dropping tablaPrueba failed: $@\n" if $@;
        
        #Creamos una nueva tabla, $query será la sentencia para crearla.  
        $query = "CREATE TABLE tablaPrueba (";
       #Recogemos los nombres de las columnas del array
        for (my $k = 0; $k < @{$lineas[$j]}; $k++ )
        {
          #Si estamos en en la última posición, evitar la ,
          if ($k == @{$lineas[$j]}-1)
          {
            $query = $query.$lineas[$j][$k]." VARCHAR(20) NULL";
            $columnes = $columnes.$lineas[$j][$k];
          }
          #Si estamos en cualquier otra posición, hemos de poner la ,
          else
          {
            $query = $query.$lineas[$j][$k]." VARCHAR(20) NULL,";
            $columnes = $columnes.$lineas[$j][$k].",";
          }
        
        }
        #Terminar la sentencia de crear una base de datos
        $query = $query.")";
        
        #Conectamos y creamos la bbdd
        $sth = $dbh->prepare($query) or die("Couldn't prepare statement: " . $dbh->errstr);
        $sth->execute();
        $sth->finish;
        
                                
    }
    
    #Si no es la primera fila, insertaremos los datos en la nueva base de datos creada.
    else
    {
      #Creamos la sentencia (se sobrecargará cada vez que el for vuelva a recorerse)
      $query = "INSERT INTO tablaPrueba (".$columnes.") VALUES (";
      #Entramos encada una de las líneas con todos los datos.
      for (my $i = 0; $i < @{$lineas[$j]}; $i++ ) {
        
        #Vamos rellenando la sentencia $query con las variables a rellenar extraídas del fichero.
        #En caso de que sea - pondremos un NULL
        #En caso de no serlo, ponemos la variable adecuada
        if($lineas[$j][$i] eq '-') {
          $query = $query.'NULL'; 
        }
        else
        {
          $query = $query.'"'.$lineas[$j][$i].'"';
        }
        
        #Si no es la última posición, escribimos una , para juntar elementos
        if ($i != @{$lineas[$j]}-1) {
          $query = $query.",";
        }
      }
      
      #Terminamos la sentencia
      $query = $query.")";
      
      #Ejecutamos la sentancia
      $sth = $dbh->prepare($query);
      $sth->execute();
      print "$query <br>";
    }
 
}
 
#Código html
print "</body>\n";
print "</html>\n";
Coloreado en 0.004 segundos,  usando GeSHi 1.0.8.4

Y una de las líneas problemáticas:

Sintáxis: [ Descargar ] [ Ocultar ]

Using text Syntax Highlighting

1388,391,227,AS,NoAS,1,0,68,14,-,-,-,-,-,-,-,-,-,-,-,-,45.8,hsaRAS,-,-,-,-,-,-,SX,SX,-,-,-,-,-,-,-,-,-,-,-,-,2,1,3,3,2

,1,-,-,-,-,-,-Coloreado en 0.000 segundos,  usando GeSHi 1.0.8.4

que en la tabla me sale:

Sintáxis: [ Descargar ] [ Ocultar ]

Using text Syntax Highlighting

1388,391,227,AS,NoAS,1,0,68,14,NULL,NULL,NULL,NULL,NULL,NULL,NULL,NULL,NULL,NULL,NULL,NULL,45.8,hsaRAS,NULL,NULL,NULL,

NULL,NULL,NULL,SX,SX,NULL,NULL,NULL,NULL,NULL,NULL,NULL,NULL,NULL,NULL,NULL,NULL,2,1,3,3,2,1,NULL,NULL,NULL,NULL,NULL,-Coloreado en 0.000 segundos,  usando GeSHi 1.0.8.4

¿Alguna sugerencia, para solucionar esto que no sea un UPDATE de todas las filas?

Gracias.

my$texto='1388,391,1,0,68,14,-,-,-,-,-,45.8,hsaRAS,-,SX,-,-,-,2,1,-,-';

$texto=~s/,/","/g;# ponemos comillas a cada coma

$texto="\"$texto\"";# ponemos las comillas primera y última

$texto=~s/"-"/NULL/g;# sustituimos los '-' por NULL

print"$texto\n";
__END__
"1388","391","1","0","68","14",NULL,NULL,NULL,NULL,NULL,"45.8","hsaRAS",NULL,"SX",NULL,NULL,NULL,"2","1",NULL,NULLColoreado en 0.002 segundos,  usando GeSHi 1.0.8.4

Sí, es un truco, pero si sabemos que los datos entrantes nunca van a venir con comillas dobles, podemos hacer esta transformación en un par de sentencias.

por **zangre** » 2010-06-23 02:17 @137

explorer escribiste:
Sintáxis: [ Descargar ] [ Ocultar ]
Sintáxis: [ Descargar ] [ Mostrar ]
Using perl Syntax Highlighting
chomp @texto;

Coloreado en 0.001 segundos, usando GeSHi 1.0.8.4

Con esto, es más que suficiente. Se encargará de quitar los caracteres de finales de línea de todos los elementos.

JAJAJAJA, ya sabía yo que la estaba liando muy parda. Pensaba que el chomp(), sólo eliminaba el último salto de línea, no todos. Por eso no lo usé.

explorer escribiste:En cuanto al resto del programa, me parece un poco excesivo para el trabajo que hace, que es tratar una línea, que, ya de partida, ya tiene los elementos separados con comas, y lo que tenemos que hacer es poner comillas dobles y transformar los '-' en NULL.

Un ejemplo de cómo se puede hacer:

Sintáxis: [ Descargar ] [ Ocultar ]
Sintáxis: [ Descargar ] [ Mostrar ]
Using perl Syntax Highlighting

my $texto = '1388,391,1,0,68,14,-,-,-,-,-,45.8,hsaRAS,-,SX,-,-,-,2,1,-,-';

$texto =~ s/,/","/g; # ponemos comillas a cada coma

$texto = "\"$texto\""; # ponemos las comillas primera y última

$texto =~ s/"-"/NULL/g; # sustituimos los '-' por NULL

print "$texto\n";
__END__
"1388","391","1","0","68","14",NULL,NULL,NULL,NULL,NULL,"45.8","hsaRAS",NULL,"SX",NULL,NULL,NULL,"2","1",NULL,NULL
Coloreado en 0.002 segundos, usando GeSHi 1.0.8.4

Sí, es un truco, pero si sabemos que los datos entrantes nunca van a venir con comillas dobles, podemos hacer esta transformación en un par de sentencias.

Vale, me gusta la idea, el problema es que el fichero contiene en la primera fila los nombres de las columnas y luego en cada una de las siguientes filas, una fila a rellenar en la base de datos, quiero decir, que no es sólo una fila, sino estamos hablando de unas 20.000 filas, las cuales tengo que mantener separadas al menos por los saltos de línea y en la primera he de separar las comas porque necesito el nombre de las columnas.

Bueno, vamos que voy a aprovechar lo que me has dicho, pero parte de mi código se quedará igual porque no veo otra alternativa.

Ej del texto:

Sintáxis: [ Descargar ] [ Ocultar ]

Using text Syntax Highlighting

var1,var2,var3,var4,var5,var6,var7, ... ,var22

1388,332,1,0,68,14,-,-,-,-,-,45.8,hsaRAS,-,SX,-,-,-,2,1,-,-

1368,3651,1,0,68,14,-,-,-,-,-,45.8,hsaRAS,-,SX,-,-,-,2,1,-,-

1328,651,1,0,68,14,-,-,-,-,-,45.8,hsaRAS,-,SX,-,-,-,2,1,-,-

1388,851,1,0,68,14,-,-,-,-,-,45.8,hsaRAS,-,SX,-,-,-,2,1,-,-

1386,391,1,0,68,14,-,-,-,-,-,45.8,hsaRAS,-,SX,-,-,-,2,1,-,-

1338,399,1,0,68,14,-,-,-,-,-,45.8,hsaRAS,-,SX,-,-,-,2,1,-,-

1308,397,1,0,68,14,-,-,-,-,-,45.8,hsaRAS,-,SX,-,-,-,2,1,-,-

1288,791,1,0,68,14,-,-,-,-,-,45.8,hsaRAS,-,SX,-,-,-,2,1,-,-

1358,391,1,0,68,14,-,-,-,-,-,45.8,hsaRAS,-,SX,-,-,-,2,1,-,-

1398,315,1,0,68,14,-,-,-,-,-,45.8,hsaRAS,-,SX,-,-,-,2,1,-,-Coloreado en 0.000 segundos,  usando GeSHi 1.0.8.4

Sintáxis: [ Descargar ] [ Ocultar ]

Using sql Syntax Highlighting

CREATETABLE tablaPrueba (var1 VARCHAR(20),var2 VARCHAR(20),var3 VARCHAR(20),var4 VARCHAR(20),var5 VARCHAR(20),

var6 VARCHAR(20),var7 VARCHAR(20),...,var22 VARCHAR(20));
INSERTINTO tablaPrueba (var1,var2,var3,var4,var5,var6,var7,...,var22)VALUES("1388",...,NULL);Coloreado en 0.001 segundos,  usando GeSHi 1.0.8.4

Más adelante tendré que hacer algo para detectar si las variables pasadas son enteros, reales o texto. Pero poco a poco. :lol:

Muchas gracias.

por **explorer** » 2010-06-23 06:51 @327

Pues entonces, como la entrada de datos es sencilla, el programa también lo es.

Sintáxis: [ Descargar ] [ Ocultar ]

Using perl Syntax Highlighting

#!/usr/bin/perl
use strict;
use warnings;
use diagnostics;
 
my $TABLA = 'tablaPrueba';
my $cabecera;
 
open my $FICHERO, q[<], 'kk.txt'  or  die "ERROR: No puedo abrir: $!\n";
open my $SALIDA,  q[>], 'kk1.txt' or  die "ERROR: No puedo escribir: $!\n";
 
while (my $linea = <$FICHERO>) {
    chomp $linea;
 
    if (1 .. 1) {                   # si es la primera línea ...
        $cabecera = $linea;         # es la cabecera
 
        $linea = "DROP   TABLE $TABLA;\n"
               . "CREATE TABLE $TABLA "
               . '('
               .    join( q[,],                         # unidos con comas
                        map { "$_ VARCHAR(20) NULL" }   # los campos formateados
                        split q[,], $cabecera           # extraídos desde la cabecera
                    )
               . ');'
               ;
    }
    else {                          # el resto de las líneas son datos
        $linea =~ s/,/","/g;            # entrecomillamos todos los datos
        $linea = qq("$linea");
 
        $linea =~ s/"-"/NULL/g;         # ajuste para los valores nulos
        $linea =~ s/"([\d.]+)"/$1/g;    # ajuste para números
 
        $linea = "INSERT INTO $TABLA ($cabecera) VALUES ($linea);";
    }
 
    print $SALIDA "$linea\n";
}
 
close   $FICHERO;
close   $SALIDA;
 
Coloreado en 0.002 segundos,  usando GeSHi 1.0.8.4

Sintáxis: [ Descargar ] [ Ocultar ]

Using text Syntax Highlighting

DROP   TABLE tablaPrueba;

CREATE TABLE tablaPrueba (var1 VARCHAR(20) NULL,var2 VARCHAR(20) NULL,var3 VARCHAR(20) NULL,var4 VARCHAR(20) NULL,var5 VARCHAR(20) NULL,var6 VARCHAR(20) NULL,var7 VARCHAR(20) NULL,var22 VARCHAR(20) NULL);

INSERT INTO tablaPrueba (var1,var2,var3,var4,var5,var6,var7,var22) VALUES (1388,332,1,0,68,14,NULL,NULL,NULL,NULL,NULL,45.8,"hsaRAS",NULL,"SX",NULL,NULL,NULL,2,1,NULL,NULL);

INSERT INTO tablaPrueba (var1,var2,var3,var4,var5,var6,var7,var22) VALUES (1368,3651,1,0,68,14,NULL,NULL,NULL,NULL,NULL,45.8,"hsaRAS",NULL,"SX",NULL,NULL,NULL,2,1,NULL,NULL);

INSERT INTO tablaPrueba (var1,var2,var3,var4,var5,var6,var7,var22) VALUES (1328,651,1,0,68,14,NULL,NULL,NULL,NULL,NULL,45.8,"hsaRAS",NULL,"SX",NULL,NULL,NULL,2,1,NULL,NULL);

INSERT INTO tablaPrueba (var1,var2,var3,var4,var5,var6,var7,var22) VALUES (1388,851,1,0,68,14,NULL,NULL,NULL,NULL,NULL,45.8,"hsaRAS",NULL,"SX",NULL,NULL,NULL,2,1,NULL,NULL);

INSERT INTO tablaPrueba (var1,var2,var3,var4,var5,var6,var7,var22) VALUES (1386,391,1,0,68,14,NULL,NULL,NULL,NULL,NULL,45.8,"hsaRAS",NULL,"SX",NULL,NULL,NULL,2,1,NULL,NULL);

INSERT INTO tablaPrueba (var1,var2,var3,var4,var5,var6,var7,var22) VALUES (1338,399,1,0,68,14,NULL,NULL,NULL,NULL,NULL,45.8,"hsaRAS",NULL,"SX",NULL,NULL,NULL,2,1,NULL,NULL);

INSERT INTO tablaPrueba (var1,var2,var3,var4,var5,var6,var7,var22) VALUES (1308,397,1,0,68,14,NULL,NULL,NULL,NULL,NULL,45.8,"hsaRAS",NULL,"SX",NULL,NULL,NULL,2,1,NULL,NULL);

INSERT INTO tablaPrueba (var1,var2,var3,var4,var5,var6,var7,var22) VALUES (1288,791,1,0,68,14,NULL,NULL,NULL,NULL,NULL,45.8,"hsaRAS",NULL,"SX",NULL,NULL,NULL,2,1,NULL,NULL);

INSERT INTO tablaPrueba (var1,var2,var3,var4,var5,var6,var7,var22) VALUES (1358,391,1,0,68,14,NULL,NULL,NULL,NULL,NULL,45.8,"hsaRAS",NULL,"SX",NULL,NULL,NULL,2,1,NULL,NULL);

INSERT INTO tablaPrueba (var1,var2,var3,var4,var5,var6,var7,var22) VALUES (1398,315,1,0,68,14,NULL,NULL,NULL,NULL,NULL,45.8,"hsaRAS",NULL,"SX",NULL,NULL,NULL,2,1,NULL,NULL);Coloreado en 0.000 segundos,  usando GeSHi 1.0.8.4

Seguramente sería deseable un formateo mayor, como por ejemplo, entrecomillar los campos de la cabecera, para estar seguros.

por **zangre** » 2010-06-23 07:05 @337

Joder, ¡leches! De grande quiero ser como tú.

Con la que he liado yo con el código. ^^!
Gracias.

explorer escribiste:Pues entonces, como la entrada de datos es sencilla, el programa también lo es.

Sintáxis: [ Descargar ] [ Ocultar ]
Sintáxis: [ Descargar ] [ Mostrar ]
Using perl Syntax Highlighting

print $SALIDA

join q[,],

map { "$_ VARCHAR(20) NULL" }

split q[,],

$cabecera

;

Coloreado en 0.001 segundos, usando GeSHi 1.0.8.4

Bueno, al lío, esta parte entiendo lo que hace en global pero no acabo de ver bien el proceso, a ver si acierto.

Pintas $SALIDA que es $cabecera convertida en un array, separando por las comas, que le has añadido el VARCHAR(20) NULL, que lo has vuelto a convertir en un "string" añadiendo las comas. ¿Es así?

Es increíble que se pueda hacer todo eso en una sola sentencia. :lol:

por **explorer** » 2010-06-23 08:04 @377

Sí, el trabajo de esa línea es ese, salvo que $SALIDA es el controlador del fichero de salida, donde queda grabado el resultado.

He vuelto a editar el programa (los mensajes se pueden reeditar) para agregar comentarios en esas líneas, aparte de hacerlo más corto (en escritura).

Veo que el problema está en la creación de la tabla, donde no sabemos el tipo de cada campo.

por **zangre** » 2010-06-25 02:19 @138

Eso lo pensaba solucionar, diciéndole a los que quieran crear la tabla que junto al nombre de la columna, pongan separado por una barra o algo así, el tipo de variable que será, y de ahí recogerlo y ponerlo yo en el create table.

Foro - Perl en Español

Leer el último elemento de una frase del fichero

Leer el último elemento de una frase del fichero

Publicidad

Re: Leer el último elemento de una frase del fichero

Re: Leer el último elemento de una frase del fichero

Re: Leer el último elemento de una frase del fichero

Re: Leer el último elemento de una frase del fichero

Re: Leer el último elemento de una frase del fichero

Re: Leer el último elemento de una frase del fichero

Re: Leer el último elemento de una frase del fichero

Re: Leer el último elemento de una frase del fichero

Re: Leer el último elemento de una frase del fichero

¿Quién está conectado?