Diferencia entre revisiones de «Sumario»

De NLHPC
 
(No se muestran 19 ediciones intermedias de 3 usuarios)
Línea 1: Línea 1:
 
== Información para nuevos usuarios ==
 
== Información para nuevos usuarios ==
  
Esta es el wiki de usuarios de Leftraru, el clúster HPC del NLHPC. Aquí encontrará información útil para:
+
Esta es la wiki de usuarios de Leftraru, el clúster HPC del NLHPC. Aquí encontrará información útil para:
  
 
* Ingresar al clúster
 
* Ingresar al clúster
 
* Descripción del hardware
 
* Descripción del hardware
* Lanzar tareas en el gestor de colas Slurm
+
* Lanzar tareas en el gestor de recursos Slurm
 
* Preguntas Frecuentes
 
* Preguntas Frecuentes
  
Para mas información puede visitar [[https://wiki.nlhpc.cl/index.php?title=Informaci%C3%B3n_para_nuevos_usuarios Aquí]]
+
Para más información puede visitar [[https://wiki.nlhpc.cl/index.php?title=Informaci%C3%B3n_para_nuevos_usuarios Aquí]]
  
 
==Recursos computacionales de leftraru==
 
==Recursos computacionales de leftraru==
Línea 28: Línea 28:
 
==Accediendo a Leftraru==
 
==Accediendo a Leftraru==
  
Leftraru está basado en Linux, por lo que opera mediante SSH y un gestor de colas. Puede conectarse e interactuar con Leftraru en la siguiente dirección “leftraru.nlhpc.cl”, utilizando un cliente SSH que lo llevará a uno de nuestros cuatro nodos de acceso. Si utiliza screen, le recomendamos tome nota en algún lugar el nombre del nodo en el cual ejecutó screen (leftraru1, leftraru2, leftraru3 or leftraru4), y cuando desee chequear el estatus de su trabajo, simplemente escriba: “ssh nombre_del_nodo” desde cualquier node de acceso, por ejemplo, si abrió ssh en leftraru3 y ahora está conectado a leftraru1, deberá escribir: “ssh leftraru3” y será capaz de recuperar su sesión en screen.
+
Leftraru está basado en la distribución Centos Linux. Uiliza el protocolo [https://es.wikipedia.org/wiki/Secure_Shell SSH] para conectase remotamente. Puede conectarse a Leftraru en la siguiente dirección:
 +
 
 +
<pre> leftraru.nlhpc.cl </pre>
 +
 
Puede encontrar mayor información en [[Tutorial de acceso a Leftraru via SSH]].
 
Puede encontrar mayor información en [[Tutorial de acceso a Leftraru via SSH]].
 
Para facilitar la copia de archivos en Leftraru, vea el [[Tutorial de acceso a archivos]]
 
Para facilitar la copia de archivos en Leftraru, vea el [[Tutorial de acceso a archivos]]
  
==Slurm, sistema de gestión de colas==
+
==Slurm, sistema de gestión de recursos==
Leftraru utiliza Slurm como gestor de colas.
+
Leftraru utiliza [https://slurm.schedmd.com/ Slurm] como gestor de recursos.
Slurm es un gestor de trabajos que provee de un framework para encolar trabajos, asignación de nodos de cómputo, reserva de tiempo de CPU, ejecución y gestión de trabajos dentro de clúster.
+
Slurm provee de un framework para encolar trabajos, asignación de nodos de cómputo, reserva de tiempo de CPU, ejecución y gestión de trabajos dentro de clúster.
Nuestros nodos de cómputo se encuentran divididos en ''particiones Slurm'', dentro de las cuales los usuarios pueden ejecutar sus trabajos.
+
Nuestros nodos de cómputo se encuentran agrupados en particiones, dentro de las cuales los usuarios pueden ejecutar sus trabajos dependiendo de sus necesidades.
  
Para ver más información acerca de cómo trabajar con Slurm en Leftraru, por favor visite el tutorial de [http://wiki.nlhpc.cl/index.php/SLURM ejecución de tareas dentro de Leftaru].
+
Para ver más información acerca de cómo trabajar con Slurm en el clúster, por favor visite el tutorial de [https://wiki.nlhpc.cl/index.php?title=SISTEMA_GESTOR_DE_RECURSOS ejecución de tareas dentro de Leftaru].
  
 
== Lustre, sistema de archivos distribuido ==
 
== Lustre, sistema de archivos distribuido ==
Línea 45: Línea 48:
 
Lustre es open source, pero debido a su envergadura y dificultad para constituirlo, se ha optado por contratar una solución privada (a la empresa [http://www.ddn.com/ DDN]) que incluye tanto infraestructura como configuraciones optimizadas de tal manera de contar con una opción de almacenamiento acorde a las necesidades del NLHPC.
 
Lustre es open source, pero debido a su envergadura y dificultad para constituirlo, se ha optado por contratar una solución privada (a la empresa [http://www.ddn.com/ DDN]) que incluye tanto infraestructura como configuraciones optimizadas de tal manera de contar con una opción de almacenamiento acorde a las necesidades del NLHPC.
  
==Limitaciones y excepciones==
+
'''Limitaciones y excepciones de Lustre:''' A pesar de tener muchas características sobresalientes, y en pos de aumentar el rendimiento de la lectura y escritura de archivos, Lustre no permite bloquear un archivo ([https://en.wikipedia.org/wiki/File_locking file locking] en inglés). Esto implica que muchos de los motores de bases de datos más conocidos (MySQL, Postgres, etc.) e incluso algunas aplicaciones que hacen uso de esta característica no funcionen o se caigan en su ejecución. Se recomienda realizar esa parte del trabajo en la partición /mnt/flock/usuario.
 
 
A pesar de tener muchas características sobresalientes, y en pos de aumentar el rendimiento de la lectura y escritura de archivos, Lustre no permite bloquear un archivo ([https://en.wikipedia.org/wiki/File_locking file locking] en inglés). Esto implica que muchos de los motores de bases de datos más conocidos (MySQL, Postgres, etc.) e incluso algunas aplicaciones que hacen uso de esta característica no funcionen o se caigan en su ejecución. Se recomienda realizar esa parte del trabajo en su computador local o en espacio de almacenamiento local de algún nodo de cómputo (/tmp por ejemplo) para después consolidar en el espacio distribuido de Lustre.
 
  
 
== Tutoriales ==
 
== Tutoriales ==
Línea 55: Línea 56:
 
[https://wiki.nlhpc.cl/index.php?title=SISTEMA_GESTOR_DE_RECURSOS Ejecución de tareas dentro de Leftaru]
 
[https://wiki.nlhpc.cl/index.php?title=SISTEMA_GESTOR_DE_RECURSOS Ejecución de tareas dentro de Leftaru]
  
[http://www.nlhpc.cl/static/presentacion.pdf Presentación uso Leftraru]
+
[https://wiki.nlhpc.cl/index.php?title=Presentacion_guacolda-leftraru Presentación uso Leftraru]
  
 
[[Escalamiento de Aplicaciones]]
 
[[Escalamiento de Aplicaciones]]
  
[[Monitoreo De Tareas]]
+
[https://wiki.nlhpc.cl/index.php?title=Monitoreo_De_Tareas Monitoreo De Tareas]
  
[https://wiki.nlhpc.cl/index.php?title=Monitoreo_De_Tareas Software Recetario de Software]
+
[https://wiki.nlhpc.cl/index.php/Categor%C3%ADa:Software Documentación de temas relacionados con el software del clúster]

Revisión actual del 14:51 27 dic 2019

Información para nuevos usuarios

Esta es la wiki de usuarios de Leftraru, el clúster HPC del NLHPC. Aquí encontrará información útil para:

  • Ingresar al clúster
  • Descripción del hardware
  • Lanzar tareas en el gestor de recursos Slurm
  • Preguntas Frecuentes

Para más información puede visitar [Aquí]

Recursos computacionales de leftraru

Leftraru cuenta actualmente con 5 particiones: general, largemem, gpus, slims y debug.

Las caracterísiticas de estas particiones pueden encontrarse en Recursos Computacionales NLHPC

Creación de cuentas

El proceso de creación de cuentas es relativamente fácil. Para poder crear una cuenta debe seguir las instrucciones del siguiente enlace y luego postular a una cuenta rellenando información en un formulario online.

Software instalado en el Clúster

Leftraru cuenta con una amplia gama de software.

Para saber el software que está instalado en nuestro clúster, vaya al siguiente link: Lmod

Tenga en cuenta que el NLHPC no entrega licencias de software, por lo que es responsabilidad de cada usuario o grupo de usuarios el adquirir estas licencias.

Accediendo a Leftraru

Leftraru está basado en la distribución Centos Linux. Uiliza el protocolo SSH para conectase remotamente. Puede conectarse a Leftraru en la siguiente dirección:

 leftraru.nlhpc.cl 

Puede encontrar mayor información en Tutorial de acceso a Leftraru via SSH. Para facilitar la copia de archivos en Leftraru, vea el Tutorial de acceso a archivos

Slurm, sistema de gestión de recursos

Leftraru utiliza Slurm como gestor de recursos. Slurm provee de un framework para encolar trabajos, asignación de nodos de cómputo, reserva de tiempo de CPU, ejecución y gestión de trabajos dentro de clúster. Nuestros nodos de cómputo se encuentran agrupados en particiones, dentro de las cuales los usuarios pueden ejecutar sus trabajos dependiendo de sus necesidades.

Para ver más información acerca de cómo trabajar con Slurm en el clúster, por favor visite el tutorial de ejecución de tareas dentro de Leftaru.

Lustre, sistema de archivos distribuido

Lustre es un conocido sistema de archivos distribuido de alta disponibilidad que permite usar una red de computadores para construir un espacio de almacenamiento amplio, escalable y mantenible en el que se pueden definir cuotas de utilización por usuario.

Lustre es open source, pero debido a su envergadura y dificultad para constituirlo, se ha optado por contratar una solución privada (a la empresa DDN) que incluye tanto infraestructura como configuraciones optimizadas de tal manera de contar con una opción de almacenamiento acorde a las necesidades del NLHPC.

Limitaciones y excepciones de Lustre: A pesar de tener muchas características sobresalientes, y en pos de aumentar el rendimiento de la lectura y escritura de archivos, Lustre no permite bloquear un archivo (file locking en inglés). Esto implica que muchos de los motores de bases de datos más conocidos (MySQL, Postgres, etc.) e incluso algunas aplicaciones que hacen uso de esta característica no funcionen o se caigan en su ejecución. Se recomienda realizar esa parte del trabajo en la partición /mnt/flock/usuario.

Tutoriales

Tutorial de acceso a Leftraru via SSH

Ejecución de tareas dentro de Leftaru

Presentación uso Leftraru

Escalamiento de Aplicaciones

Monitoreo De Tareas

Documentación de temas relacionados con el software del clúster