150.214.220.243
Español  English  

Logo Alhambra CSIRC

UGR Alhambra CSIRC
Inicio Noticias Alhambra

Noticias Alhambra

Integración de recursos de Ugrgrid en Alhambra

Progresivamente se va a proceder a la integración de los equipos de cálculo de Alhambra y de Ugrgrid en un único equipo, y sus recursos serán accesibles a través de un único punto de acceso, pero en diferentes colas.

Trabajos de Integración de equipos 

Como ya sabéis, Ugrgrid se adquirió en 2007, y tras siete años de funcionamiento, algunos elementos de su arquitectura se han ido volviendo inestables y difíciles de mantener. En su día ya se unificó el sistema de almacenamiento de Ugrgrid y de Alhambra, y poco a poco vamos eliminando servidores antiguos de los que depende Ugrgrid, cuyo fallo podría causar una interrupción larga del funcionamiento de los recursos que componen Ugrgrid. Esta vez toca cambiar los servidores centrales del sistema de colas, y actualizar los viejos nodos de cálculo para que puedan seguir funcionando como un nodo más de Alhambra.

Esto resultará en que el usuario final tendrá, en un futuro no muy lejano, que acceder a un único punto de acceso, ya sea por ssh o por el portal web, a alhambra.ugr.es, desde donde se tendrá acceso, con un único sistema de colas, a los recursos tanto de Ugrgrid como que ya tenía Alhambra. Por ello tendremos un periodo de transición, en el que los recursos de Ugrgrid se van a ir moviendo progresivamente hacia Alhambra.

Nuevas colas:

Por ello, será necesario usar los recursos de ugrgrid desde alhambra a través de nuevas colas. La siguiente tabla muestra las nuevas colas, con el número de procesadores disponibles, número que se irá ampliando conforme se vaya realizando la transición y las aplicaciones funcionen satisfactoriamente. Hemos comprobado ya su uso con varias de los programas más habituales, y todo indica que cualquier aplicación que use openmpi puede ser usada con normalidad en las nuevas colas.

Colas añadidas en Alhambra
larga508 procs.2 semanas
muylarga508 procs.3 semanas

Sin límites por ahora en el número de procesadores por usuario. Esta información cambiará conforme avance el proceso de transición.

Aún no hemos incorporado ninguno de los nodos x4600 de 16 cores, de las colas bigmem de Ugrgrid, ni haremos cambios en la cola NOParalela, mientras se realiza esta transición.

Adaptación y posibles problemas:

Comprendemos que todas estas operaciones pueden trastocar los hábitos de cálculo, y pueden causar confusiones, puesto que si antes Ugrgrid tenía nodos (con sus correspondientes colas) de 4 y 16 procesadores, y Alhambra de 16 y 32, a partir de ahora, desde alhambra se podrán usar todos ellos, y el usuario debe ser consciente de en qué nodos quiere que se envíe su cálculo.

Diferentes arquitecturas, diferentes binarios

Recordemos que Ugrgrid se constituye por procesadores AMD, y que Alhambra es completamente Intel. Aunque todos siguen siendo de la misma arquitectura x86-64, son de distintas generaciones de procesador, con conjunto de instrucciones distintas y que usan librerías distintas, de distintos fabricantes. Por eso, una aplicación compilada para los nodos de Ugrgrid no va a funcionar en los nodos de Alhambra, aunque el software fuera de la misma versión.

¿dónde está mi binario?

Los binarios ya compilados van a seguir siendo los mismos, lo que ocurre es que ahora van a compartir sitio en el sistema de archivos. Si antes era imposible que un nodo AMD pudiera "ver" binarios compilados para Intel, a partir de ahora, como todos los binarios van a estar en carpetas contiguas, es posible que por error intentemos ejecutar la aplicación que no corresponde. Por eso es necesario recordar dónde está cada aplicación. En breve, tenemos:

SistemaRuta
Ugrgrid/usr/local/apps/
Alhambra/usr/local/apps/alhambra/

debemos tenerlo presente, pues los scripts que usemos para mandar cálculos a la cola, por ejemplo, a la cola larga de ugrgrid, deben especificar la ruta correcta, que será distinta a la de la cola 24H de alhambra

carga de módulos

Del mismo modo, la carga de módulos previa a cada cálculo ha de cambiar, puesto que los modulos necesarios para uno y otro sistema deben estar disponibles (ambos) para el investigador en el punto de acceso ssh. Para conocer qué módulos hay disponibles para cada sistema, hay que ejecutar

module av ugrgrid/

o

module av alhambra/

y del mismo modo, hay que incorporar este modo de cargar los módulos en los scripts que se lancen a las nuevas colas larga y muylarga


Publicado a las 13:00, el 2 de diciembre de 2014
Contacto  Mapa web  Sugerencias  Visita Alhambra          CSIRC                 © Universidad de Granada