-
- Publicidad
Character encoding en Perl/Windows
16 mensajes
• Página 2 de 2 • 1, 2
Publicidad
por explorer » 2008-02-02 04:50 @243
Sí, es que Windows es un sistema operativo antiguo y poco preparado para el desarrollo de sistemas. Por eso ahora todo el mundo usa Linux.
Quítalo.
Quítalo.
JF^D Perl programming & Raku programming. Grupo en Telegram: https://t.me/Perl_ES
-
explorer - Administrador
- Mensajes: 14480
- Registrado: 2005-07-24 18:12 @800
- Ubicación: Valladolid, España
por Norther » 2008-02-02 11:07 @505
Pero si yo uso Ubuntu, exclusivamente desde Ubuntu Feisty Fawn :S Pero el programa se lo estoy haciendo a un amigo que lo necesita y el se niega a pasarse a Linux... Probé a mostrar los caracteres por consola y tampoco los muestra bien, estoy empezando a plantearme seriamente si de verdad esos caracteres están bien en alguna parte, jaja
Voy a intentar a la desesperada hacerle una GUI con Perl/Tk y mostrar el texto traducido en un Label o en un campo text para que se pueda copiar, si se te ocurre algo más que pueda funcionar no dudes en decírmelo. ¡¡Me niego a pensar que sea imposible de hacer!!
-----EDIT-----
Tampoco funciona mostrandolo en un campo text en perl/tk :S
Voy a intentar a la desesperada hacerle una GUI con Perl/Tk y mostrar el texto traducido en un Label o en un campo text para que se pueda copiar, si se te ocurre algo más que pueda funcionar no dudes en decírmelo. ¡¡Me niego a pensar que sea imposible de hacer!!
-----EDIT-----
Tampoco funciona mostrandolo en un campo text en perl/tk :S
- Norther
- Perlero nuevo
- Mensajes: 117
- Registrado: 2007-07-24 13:47 @616
- Ubicación: Asturias
por explorer » 2008-02-02 12:14 @551
Si copio y pego las líneas que te salen, en un fichero de texto, y las veo con el firefox, y en el firefox le digo que la codificación es utf-8, me sale:
Los caracteres que salen "desconocidos" es porque esa letra no está definida dentro del fichero de fuente de letras que estás usando para ver el texto. Es decir: para ver coreano, deberás tener en el ordenador una fuente de letras de coreano.
A propósito... acabo de descubrir que las letras en coreano no están en utf-8, sino en euc-kr. Eso quiere decir que altavista NO siempre responde con la misma codificación. El texto que te pongo lo he copiado y pegado cambiando la codificación en el editor de texto Kate.
Esto es normal, si ves el funcionamiento de firefox: mientras estás trabajando con caracteres occidentales está trabajando con una determinada fuente de letras, pero cuando cambias a una asiática, carga otra fuente de letras distinta. La explicación es que no es muy común tener todos los alfabetos en un único fichero de fuente de letras. En cambio, si una fuente de letras dice que admite la codificación utf-8 entonces debemos pensar que sí debería de mostrar una gama muy amplia de alfabetos.
En el texto anterior, si eres capaz de ver los textos en cirílico al mismo tiempo que los caracteres coreanos, entonces es que tu navegador está usando un tipo de letra que admite ambos alfabetos. Curiosamente, este página web que estás viendo está codificada en iso-8859-1. Los caracteres están codificados como entidades HTML (mira el código de esta página): el acento agudo del francés se ve directamente (porque está contemplado en iso-8859-1), pero los del cirílico ruso están como entidades codificadas con números superiores a 1050. Y los coreanos, entre el 20.000 y el 40.000.
Si tu fuente de letras del navegador no tiene un conjunto de letras tan amplio, es cuando verás los caracteres "caja", indicando que no sabe cómo pintar esa letra. Yo estoy usando monoespaciada en OpenSuse 10.3 y sí que me muestra 'casi' todos los caracteres.
Lo interesante de este problema va más allá de lo que puede hacer el programa: depende de la codificación y el fuente de letras que esté usando el sistema operativo.
Si lo vas a pasar a Perl/Tk, quizás una posibilidad sea usar algún widget del tipo cliente de HTML.
Lo que sí está claro es que NO puedes mezclar varias codificaciones en el mismo fichero.
Bienvenido a la torre de Babel.
- Código: Seleccionar todo
NAME3=Baril Cassé
NAME4=Сломленн�?й �?о�?онок
NAME5=Barilotto Rotto
NAME6=Gebroken Vat
NAME4=鬼剋棘劇剋筠戟戟�橘 �棘�棘戟棘克
Los caracteres que salen "desconocidos" es porque esa letra no está definida dentro del fichero de fuente de letras que estás usando para ver el texto. Es decir: para ver coreano, deberás tener en el ordenador una fuente de letras de coreano.
A propósito... acabo de descubrir que las letras en coreano no están en utf-8, sino en euc-kr. Eso quiere decir que altavista NO siempre responde con la misma codificación. El texto que te pongo lo he copiado y pegado cambiando la codificación en el editor de texto Kate.
Esto es normal, si ves el funcionamiento de firefox: mientras estás trabajando con caracteres occidentales está trabajando con una determinada fuente de letras, pero cuando cambias a una asiática, carga otra fuente de letras distinta. La explicación es que no es muy común tener todos los alfabetos en un único fichero de fuente de letras. En cambio, si una fuente de letras dice que admite la codificación utf-8 entonces debemos pensar que sí debería de mostrar una gama muy amplia de alfabetos.
En el texto anterior, si eres capaz de ver los textos en cirílico al mismo tiempo que los caracteres coreanos, entonces es que tu navegador está usando un tipo de letra que admite ambos alfabetos. Curiosamente, este página web que estás viendo está codificada en iso-8859-1. Los caracteres están codificados como entidades HTML (mira el código de esta página): el acento agudo del francés se ve directamente (porque está contemplado en iso-8859-1), pero los del cirílico ruso están como entidades codificadas con números superiores a 1050. Y los coreanos, entre el 20.000 y el 40.000.
Si tu fuente de letras del navegador no tiene un conjunto de letras tan amplio, es cuando verás los caracteres "caja", indicando que no sabe cómo pintar esa letra. Yo estoy usando monoespaciada en OpenSuse 10.3 y sí que me muestra 'casi' todos los caracteres.
Lo interesante de este problema va más allá de lo que puede hacer el programa: depende de la codificación y el fuente de letras que esté usando el sistema operativo.
Si lo vas a pasar a Perl/Tk, quizás una posibilidad sea usar algún widget del tipo cliente de HTML.
Lo que sí está claro es que NO puedes mezclar varias codificaciones en el mismo fichero.
Bienvenido a la torre de Babel.
JF^D Perl programming & Raku programming. Grupo en Telegram: https://t.me/Perl_ES
-
explorer - Administrador
- Mensajes: 14480
- Registrado: 2005-07-24 18:12 @800
- Ubicación: Valladolid, España
por explorer » 2008-02-02 12:53 @579
Me colé otra vez... Altavista SIEMPRE devuelve en utf-8.
El siguiente programa hace lo que pides: lee un fichero de entrada y va sacando la traducción. Y todos los caracteres, en utf-8.
Programa:
Hay una serie de cambios con respecto a lo hecho antes:
* La $url es directamente la del formulario de traducción
* Hacemos un bucle por todos los @idiomas. Usamos un array y un bucle foreach para simplificar código
* El get() solo es necesario hacer una vez. Cuando hacemos el submit(), nos devuelve la misma página
* Usamos el truco de Perl de incrementar textos, para pasar de 'NAME2' a 'NAME3', etc, con un solo '$n++'
* En el submit_form(), no indicamos el número de formulario dentro de la página, sino que sea Mechanize el que busque el formulario con esos campos (with_fields)
* Ponemos un sleep 3 para que los dueños de Altavista no se quejen.
Dado un fichero de texto inicial:
La salida en consola es:
Y el fichero generado es:
¡Sale perfecto!
El siguiente programa hace lo que pides: lee un fichero de entrada y va sacando la traducción. Y todos los caracteres, en utf-8.
Programa:
Using perl Syntax Highlighting
#!/usr/bin/perl
use WWW::Mechanize;
use warnings;
use strict;
my $url = 'http://world.altavista.com/tr';
my $archivo = 'kk.txt';
my @idiomas = qw[
en_es
en_fr
en_ru
en_it
en_nl
en_ko
];
my $mech = WWW::Mechanize->new();
$mech->add_header('Accept-Charset' => 'utf-8');
$mech->get($url);
open( ARCH, "< $archivo" ) or die "ERROR al leer el archivo: $!\n";
open (OUT, "> kk1.txt") or die "ERROR al escribir la salida: $!\n";
while (<ARCH>) {
print OUT;
if ( /DESCRIPTION=(.+)/i ) {
my $ingles = $1;
print "Traducir $ingles:\n";
my $n = 'NAME2';
foreach my $idioma ( @idiomas ) {
print " $n ";
$mech->submit_form(
with_fields => {
trtext => $ingles,
lp => $idioma,
}
);
my $wa = $mech->content;
(my $traducida) = $wa =~ /<div style=padding:10px;>(.+?)<\/div><\/td>/;
print "$traducida\n";
print OUT "$n=$traducida\n";
sleep 3;
$n++;
}
}
}
close OUT;
close ARCH;
__END__
use WWW::Mechanize;
use warnings;
use strict;
my $url = 'http://world.altavista.com/tr';
my $archivo = 'kk.txt';
my @idiomas = qw[
en_es
en_fr
en_ru
en_it
en_nl
en_ko
];
my $mech = WWW::Mechanize->new();
$mech->add_header('Accept-Charset' => 'utf-8');
$mech->get($url);
open( ARCH, "< $archivo" ) or die "ERROR al leer el archivo: $!\n";
open (OUT, "> kk1.txt") or die "ERROR al escribir la salida: $!\n";
while (<ARCH>) {
print OUT;
if ( /DESCRIPTION=(.+)/i ) {
my $ingles = $1;
print "Traducir $ingles:\n";
my $n = 'NAME2';
foreach my $idioma ( @idiomas ) {
print " $n ";
$mech->submit_form(
with_fields => {
trtext => $ingles,
lp => $idioma,
}
);
my $wa = $mech->content;
(my $traducida) = $wa =~ /<div style=padding:10px;>(.+?)<\/div><\/td>/;
print "$traducida\n";
print OUT "$n=$traducida\n";
sleep 3;
$n++;
}
}
}
close OUT;
close ARCH;
__END__
Coloreado en 0.006 segundos, usando GeSHi 1.0.8.4
Hay una serie de cambios con respecto a lo hecho antes:
* La $url es directamente la del formulario de traducción
* Hacemos un bucle por todos los @idiomas. Usamos un array y un bucle foreach para simplificar código
* El get() solo es necesario hacer una vez. Cuando hacemos el submit(), nos devuelve la misma página
* Usamos el truco de Perl de incrementar textos, para pasar de 'NAME2' a 'NAME3', etc, con un solo '$n++'
* En el submit_form(), no indicamos el número de formulario dentro de la página, sino que sea Mechanize el que busque el formulario con esos campos (with_fields)
* Ponemos un sleep 3 para que los dueños de Altavista no se quejen.
Dado un fichero de texto inicial:
- Código: Seleccionar todo
[ITEMDEF 01db3]
DEFNAME=i_barrel_broken
RESOURCES=16 i_BOARD, 2 i_BARREL_HOOP, I_BARREL
WEIGHT=21
//broken barrel
CATEGORY=Decoration - Furniture
SUBSECTION=Broken Furniture
DESCRIPTION=Broken Barrel
DUPELIST=01db4,01db5,01db6
La salida en consola es:
- Código: Seleccionar todo
Traducir Broken Barrel:
NAME2 Barril Quebrado
NAME3 Baril Cassé
NAME4 Сломленный Бочонок
NAME5 Barilotto Rotto
NAME6 Gebroken Vat
NAME7 부서지는 배럴
Y el fichero generado es:
- Código: Seleccionar todo
[ITEMDEF 01db3]
DEFNAME=i_barrel_broken
RESOURCES=16 i_BOARD, 2 i_BARREL_HOOP, I_BARREL
WEIGHT=21
//broken barrel
CATEGORY=Decoration - Furniture
SUBSECTION=Broken Furniture
DESCRIPTION=Broken Barrel
NAME2=Barril Quebrado
NAME3=Baril Cassé
NAME4=Сломленный Бочонок
NAME5=Barilotto Rotto
NAME6=Gebroken Vat
NAME7=부서지는 배럴
DUPELIST=01db4,01db5,01db6
¡Sale perfecto!
JF^D Perl programming & Raku programming. Grupo en Telegram: https://t.me/Perl_ES
-
explorer - Administrador
- Mensajes: 14480
- Registrado: 2005-07-24 18:12 @800
- Ubicación: Valladolid, España
por Norther » 2008-02-03 14:03 @627
En efecto, tenías toda la razón. Le añadió las fuentes koreana, rusa, y algunas más extra, y ya funciona perfectamente, muchas gracias explorer, a ver si poco a poco cosas como estas convencen a mi amigo a pasarse a Linux, jaja
- Norther
- Perlero nuevo
- Mensajes: 117
- Registrado: 2007-07-24 13:47 @616
- Ubicación: Asturias
16 mensajes
• Página 2 de 2 • 1, 2
¿Quién está conectado?
Usuarios navegando por este Foro: No hay usuarios registrados visitando el Foro y 41 invitados