Foro - Perl en Español

Hola amigos.

¿Alguien sabe cómo obtener más memoria RAM al lanzar un .pl?
Me refiero a que si se puede privilegiar mi proceso antes que otros.

Saludos y gracias.

Bueno, la mayor parte de las veces los límites los impone el sistema operativo, para que no haya ningún proceso acapare todos los recursos, y los demás procesos queden "congelados".

En Linux, normalmente, los procesos son arrancados por un proceso shell. En el shell bash existe el comando ulimit que permite ajustar los límites de los recursos que puede usar el proceso del shell y los procesos que éste arrancará.

Por ejemplo, si hacemos
ulimit nos informa de los todos los límites que están puestos por defecto. Como propietarios de este shell, podemos modificar algunas condiciones. Por ejemplo, decir que en vez de poder reservar 2Gb de memoria, podremos reservar todo lo que el sistema pueda darnos:

Así que, tú mismo podrías colocar una instrucción ulimit en alguno de los ficheros de arranque del shell del usuario que va a ejecutar el proceso, para ajustarlo a tus necesidades (.profile, .bashrc).

A nivel de sistema, podemos dar límites según el usuario o grupo al que pertenezca ese usuario. De ello se encarga el módulo pam_limits (man pam_limits), que toma sus valores por defecto del fichero /etc/security/limits.conf y de los ficheros contenidos dentro del directorio /etc/security/limits.d/. La definición de estos ficheros la tienes en man 5 limits.conf.

Otra cosa es privilegiar a tu proceso frente a otros. Para eso necesitas tener privilegios de superusuario (o root). Con el comando renice se puede ajustar la prioridad de un proceso que ya se está ejecutando. Y con el comando nice se puede ajustar la prioridad de un proceso que vamos a ejecutar.

Hay que diferenciar entre el uso de memoria y las prioridades de los procesos que se puede controlar con nice y renice, que se refiere al CPU, no a la memoria. O sea, un programa puede usar mucho el CPU y poca memoria, o viceversa.

ulimit limita aplicaciones, pero no se pueden ejecutar aplicaciones que no tienen memoria suficiente.

Creo que hay varias estrategias. Algunas que se me ocurren:

• En Linux está disponible mlock para fijar en RAM parte o todo el espacio de memoria virtual del proceso; no sé si existe un equivalente en Perl.
  
• Controlar cuánta memoria usan las otras aplicaciones y ejecutar sólo las más necesarias o las que usan menos memoria. Ejemplos:
  
  • Usar software alternativo que use menos memoria.
  • Usar sistemas operativos livianos, como distribuciones de GNU/Linux que usan poca memoria por defecto.
  • Cerrar aplicaciones manualmente o programáticamente antes que el programa requiera memoria.
• También está la posibilidad de ajustar valores de swappiness de Linux para controlar la paginación.

alfplayer escribiste:O sea, un programa puede usar mucho el CPU y poca memoria, o viceversa.

También existe la tercera y cuarta posibilidad: que use mucha CPU y memoria y que no las use. En cuanto a programas, los hay de todas clases.

alfplayer escribiste:ulimit limita aplicaciones, pero no se pueden ejecutar aplicaciones que no tienen memoria suficiente.

Sí, sí que se puede. Bueno, siempre que no se sobrepasen los límites de direccionamiento virtual. Con funcionalidades como mmap(2) se puede mapear los contenidos de un fichero que esté en disco a direcciones virtuales del proceso, con lo que éste puede acceder a sus contenidos sin tener que cargarlo en memoria. Y el fichero puede ser todo lo grande que se quiera, hasta el límite máximo del direccionamiento posible, que suele ser mucho mayor que la cantidad de memoria RAM. En CPAN hay módulos para hacer esto. Referencias a dos de ellos en la página de Wikipedia, al final.

alfplayer escribiste:En Linux está disponible mlock para fijar en RAM parte o todo el espacio de memoria virtual del proceso; no sé si existe un equivalente en Perl.

Sí que hay algún módulo que tiene esa funcionalidad, como por ejemplo, IO::AIO.

Si en el sistema operativo en el que se está trabajando soporta setpriority, en Perl se puede usar dicha función. Supongo que sería mucho más fácil usar BSD::Resources aunque no deja de ser otra posibilidad .

explorer escribiste:

alfplayer escribiste:ulimit limita aplicaciones, pero no se pueden ejecutar aplicaciones que no tienen memoria suficiente.

Sí, sí que se puede. Bueno, siempre que no se sobrepasen los límites de direccionamiento virtual. Con funcionalidades como mmap(2) se puede mapear los contenidos de un fichero que esté en disco a direcciones virtuales del proceso, con lo que éste puede acceder a sus contenidos sin tener que cargarlo en memoria. Y el fichero puede ser todo lo grande que se quiera, hasta el límite máximo del direccionamiento posible, que suele ser mucho mayor que la cantidad de memoria RAM. En CPAN hay módulos para hacer esto. Referencias a dos de ellos en la página de Wikipedia, al final.

Según https://lkml.org/lkml/2011/2/8/214, ulimit -m (maximum resident set size / RLIMIT_RSS) no está implementado actualmente en Linux.

La otra opción interesante de ulimit para limitar aplicaciones en general es -v que limita la memoria virtual del proceso (no evita que trabaje en swap). Al parecer, el uso principal es evitar que si una aplicación pide mucha memoria no haga detener otras aplicaciones o arriesgue la estabilidad del sistema. Con esto, si las aplicaciones llegan a su límite impuesto de memoria virtual no se asegura que continúen ejecutándose y pueden detenerse. Puede ser útil para detectar qué programas usan demasiada memoria o para asegurar que otras aplicaciones tengan un mínimo de memoria disponible, pero como expliqué puede traer problemas hasta que se aprende a controlar el uso de memoria de las aplicaciones del sistema. Puede ser empleada pero estratégicamente.

Igualmente, es posible limitar el uso de RAM de aplicaciones usando cgroups en GNU/Linux o con ulimit -m en sistemas que lo soporten (al sobrepasar el límite se trabaja en swap).

setpriority modifica el mismo valor que los comandos nice y renice (como ya mencioné, referido a la prioridad del proceso en el CPU).

Se puede programar intentando usar poca memoria de aplicaciones por ejemplo con mmap, pero mi respuesta apunta a priorizar el uso de memoria en aplicaciones en general, aunque es un tema que excede a Perl.

Pregunta genérica, respuesta genérica.

Optimizando tu código Perl.
Aumentando un poco el valor nice para ese proceso de perl (¡temporalmente!)
y optimizando el uso de memoria fuera de Perl, lo que puede implicar cerrar programas que no sean necesarios.
Puede implicar cerrar X y correr el programa fuera del sistema gráfico en una tty.
Puede implicar no usar librerías redundantes de un escritorio distinto al que tienes instalado,
y suele ser bueno a la hora de establecer tu estrategia, tirar de free, y averiguar qué programa está gastando más recursos con memstat, (y si no es imprescindible cerrarlo el primero).