Diferencia entre revisiones de «Sumario»

De NLHPC
(Página creada con «== Información para nuevos usuarios == Esta es la wiki de usuarios de Leftraru, el clúster HPC del NLHPC. Aquí encontrará información útil para: * Ingresar al clúst…»)
 
 
(No se muestran 11 ediciones intermedias de 4 usuarios)
Línea 1: Línea 1:
== Información para nuevos usuarios ==
== Información para nuevos usuarios ==
Esta es la wiki de usuarios de Leftraru, el clúster HPC del NLHPC. Aquí encontrará información útil para:
Esta es la wiki para nuestra comunidad de usuarios del NLHPC. Aquí encontrará información útil para:


* Ingresar al clúster
* Ingresar al clúster
* Descripción del hardware
* Descripción del hardware
* Lanzar tareas en el gestor de recursos Slurm
* Lanzar tareas en el gestor de recursos '''Slurm'''
* Preguntas Frecuentes
* Preguntas Frecuentes
* Para más información puede visitar [Aquí]
* Para más información puede visitar [https://wiki.nlhpc.cl/Informaci%C3%B3n_para_nuevos_usuarios Aquí]


== Recursos computacionales de leftraru ==
== Recursos computacionales del Clúster ==
Leftraru cuenta actualmente con 5 particiones: general, largemem, gpus, slims y debug.
Nuestro clúster cuenta actualmente con 7 particiones: general, largemem, V100, mi100, mi210, main  y debug.


Las caracterísiticas de estas particiones pueden encontrarse en [https://wiki.nlhpc.cl/Recursos_Computacionales_NLHPC Recursos Computacionales NLHPC]
Las caracterísiticas de estas particiones pueden encontrarse en [https://wiki.nlhpc.cl/Hardware_Disponible Recursos Computacionales NLHPC]


Creación de cuentas
== Creación de cuentas ==
El proceso de creación de cuentas es relativamente fácil. Para poder crear una cuenta debe seguir las instrucciones del siguiente enlace y luego postular a una cuenta rellenando información en un formulario online.
El proceso de creación de cuentas es relativamente fácil. Para poder crear una cuenta debe seguir las instrucciones del siguiente [http://www.nlhpc.cl/es/servicios enlace] y luego postular a una cuenta rellenando información en un formulario online.


Software instalado en el Clúster
== Software instalado en el Clúster ==
Leftraru cuenta con una amplia gama de software.
Guacolda-Leftraru Epu cuenta con una amplia gama de software.


Para saber el software que está instalado en nuestro clúster, vaya al siguiente link: Lmod
Para saber el software que está instalado en nuestro clúster, vaya al siguiente link: [https://wiki.nlhpc.cl/Lmod Lmod]


Tenga en cuenta que el NLHPC no entrega licencias de software, por lo que es responsabilidad de cada usuario o grupo de usuarios el adquirir estas licencias.
Tenga en cuenta que el NLHPC no entrega licencias de software, por lo que es responsabilidad de cada usuario o grupo de usuarios el adquirir estas licencias.


Accediendo a Leftraru
== Accediendo al Clúster ==
Leftraru está basado en la distribución Centos Linux. Uiliza el protocolo SSH para conectase remotamente. Puede conectarse a Leftraru en la siguiente dirección:
Nuestro clúster utiliza Linux como sistema operativo el que permite el acceso a nuestros usuarios mediante el protocolo [https://es.wikipedia.org/wiki/Secure_Shell SSH] para conectase remotamente. Puede conectarse a su cuenta accediendo a la siguiente dirección:


  leftraru.nlhpc.cl  
  leftraru.nlhpc.cl  
Puede encontrar mayor información en Tutorial de acceso a Leftraru via SSH. Para facilitar la copia de archivos en Leftraru, vea el Tutorial de acceso a archivos


Slurm, sistema de gestión de recursos
Puede encontrar mayor información en [https://wiki.nlhpc.cl/Tutorial_de_acceso_a_Leftraru_via_SSH Tutorial de acceso a Leftraru via SSH]. Para facilitar la copia de archivos hacia y desde el clúster, vea el [https://wiki.nlhpc.cl/Tutorial_de_acceso_a_archivos Tutorial de acceso a archivos]
Leftraru utiliza Slurm como gestor de recursos. Slurm provee de un framework para encolar trabajos, asignación de nodos de cómputo, reserva de tiempo de CPU, ejecución y gestión de trabajos dentro de clúster. Nuestros nodos de cómputo se encuentran agrupados en particiones, dentro de las cuales los usuarios pueden ejecutar sus trabajos dependiendo de sus necesidades.


Para ver más información acerca de cómo trabajar con Slurm en el clúster, por favor visite el tutorial de ejecución de tareas dentro de Leftaru.
== MFA o autenticación multifactor ==
MFA o autenticación multifactor agrega una capa de protección al proceso de inicio de sesión. En el caso del NLHPC, se ha decidido integrar MFA adicionalmente al uso de contraseñas y llaves. El proceso de creación de MFA se ejecutará automáticamente cuando inicie sesión y es necesario que tenga a la mano su celular con la aplicación Google Authenticator o Authy instalada. Cuando inicie sesión, se mostrará un código qr que deberá escanear en alguna de estas aplicaciones. También se mostrarán un “secret key” que le permitirá recuperar el acceso en el caso de extravío de su celular. La próxima vez que inicie sesión en su cuenta se pedirá tanto la contraseña de acceso como el código generado por la aplicación multifactor.


Lustre, sistema de archivos distribuido
== Slurm, sistema de gestión de recursos ==
Lustre es un conocido sistema de archivos distribuido de alta disponibilidad que permite usar una red de computadores para construir un espacio de almacenamiento amplio, escalable y mantenible en el que se pueden definir cuotas de utilización por usuario.
En el NLHPC utilizamos [https://slurm.schedmd.com/ Slurm] como gestor de recursos. Slurm provee de un framework para encolar trabajos, asignación de nodos de cómputo, reserva de tiempo de CPU, ejecución y gestión de trabajos dentro de clúster. Nuestros nodos de cómputo se encuentran agrupados en particiones, dentro de las cuales los usuarios pueden ejecutar sus trabajos dependiendo de sus necesidades.


Lustre es open source, pero debido a su envergadura y dificultad para constituirlo, se ha optado por contratar una solución privada (a la empresa DDN) que incluye tanto infraestructura como configuraciones optimizadas de tal manera de contar con una opción de almacenamiento acorde a las necesidades del NLHPC.
Para ver más información acerca de cómo trabajar con Slurm en el clúster, por favor visite el tutorial de [https://wiki.nlhpc.cl/SISTEMA_GESTOR_DE_RECURSOS ejecución de tareas dentro de Leftaru.]


Limitaciones y excepciones de Lustre: A pesar de tener muchas características sobresalientes, y en pos de aumentar el rendimiento de la lectura y escritura de archivos, Lustre no permite bloquear un archivo (file locking en inglés). Esto implica que muchos de los motores de bases de datos más conocidos (MySQL, Postgres, etc.) e incluso algunas aplicaciones que hacen uso de esta característica no funcionen o se caigan en su ejecución. Se recomienda realizar esa parte del trabajo en la partición /mnt/flock/usuario.
== Lustre, sistema de archivos distribuido ==
[https://es.wikipedia.org/wiki/Lustre_%28sistema_de_archivos%29 Lustre] es un conocido [https://es.wikipedia.org/wiki/Sistema_de_archivos_distribuido sistema de archivos distribuido] de alta disponibilidad que permite usar una red de computadores para construir un espacio de almacenamiento amplio, escalable y mantenible en el que se pueden definir cuotas de utilización por usuario.


Tutoriales
Lustre es open source, pero debido a su envergadura y dificultad para constituirlo, se ha optado por contratar una solución privada (a la empresa [http://www.ddn.com/ DDN]) que incluye tanto infraestructura como configuraciones optimizadas de tal manera de contar con una opción de almacenamiento acorde a las necesidades del NLHPC.
Tutorial de acceso a Leftraru via SSH


Ejecución de tareas dentro de Leftaru
'''Limitaciones y excepciones de Lustre:''' A pesar de tener muchas características sobresalientes, y en pos de aumentar el rendimiento de la lectura y escritura de archivos, Lustre no permite bloquear un archivo ([https://en.wikipedia.org/wiki/File_locking file locking] en inglés). Esto implica que muchos de los motores de bases de datos más conocidos (MySQL, Postgres, etc.) e incluso algunas aplicaciones que hacen uso de esta característica no funcionen o se caigan en su ejecución. Se recomienda realizar esa parte del trabajo en la partición /mnt/flock/usuario.


Presentación uso Leftraru
== Tutoriales ==
[https://wiki.nlhpc.cl/Tutorial_de_acceso_a_Leftraru_via_SSH Tutorial de acceso a Leftraru via SSH]


Escalamiento de Aplicaciones
[https://wiki.nlhpc.cl/SISTEMA_GESTOR_DE_RECURSOS Ejecución de tareas dentro de Leftaru]


Monitoreo De Tareas
Presentación uso del clúster del NLHPC


Documentación de temas relacionados con el software del clúster
[https://wiki.nlhpc.cl/Escalamiento Escalamiento de Aplicaciones]
 
[https://wiki.nlhpc.cl/Monitoreo_De_Tareas Monitoreo De Tareas]
 
[https://wiki.nlhpc.cl/Categor%C3%ADa:Software Documentación de temas relacionados con el software del clúster]

Revisión actual - 16:36 19 abr 2024

Información para nuevos usuarios

Esta es la wiki para nuestra comunidad de usuarios del NLHPC. Aquí encontrará información útil para:

  • Ingresar al clúster
  • Descripción del hardware
  • Lanzar tareas en el gestor de recursos Slurm
  • Preguntas Frecuentes
  • Para más información puede visitar Aquí

Recursos computacionales del Clúster

Nuestro clúster cuenta actualmente con 7 particiones: general, largemem, V100, mi100, mi210, main y debug.

Las caracterísiticas de estas particiones pueden encontrarse en Recursos Computacionales NLHPC

Creación de cuentas

El proceso de creación de cuentas es relativamente fácil. Para poder crear una cuenta debe seguir las instrucciones del siguiente enlace y luego postular a una cuenta rellenando información en un formulario online.

Software instalado en el Clúster

Guacolda-Leftraru Epu cuenta con una amplia gama de software.

Para saber el software que está instalado en nuestro clúster, vaya al siguiente link: Lmod

Tenga en cuenta que el NLHPC no entrega licencias de software, por lo que es responsabilidad de cada usuario o grupo de usuarios el adquirir estas licencias.

Accediendo al Clúster

Nuestro clúster utiliza Linux como sistema operativo el que permite el acceso a nuestros usuarios mediante el protocolo SSH para conectase remotamente. Puede conectarse a su cuenta accediendo a la siguiente dirección:

leftraru.nlhpc.cl 

Puede encontrar mayor información en Tutorial de acceso a Leftraru via SSH. Para facilitar la copia de archivos hacia y desde el clúster, vea el Tutorial de acceso a archivos

MFA o autenticación multifactor

MFA o autenticación multifactor agrega una capa de protección al proceso de inicio de sesión. En el caso del NLHPC, se ha decidido integrar MFA adicionalmente al uso de contraseñas y llaves. El proceso de creación de MFA se ejecutará automáticamente cuando inicie sesión y es necesario que tenga a la mano su celular con la aplicación Google Authenticator o Authy instalada. Cuando inicie sesión, se mostrará un código qr que deberá escanear en alguna de estas aplicaciones. También se mostrarán un “secret key” que le permitirá recuperar el acceso en el caso de extravío de su celular. La próxima vez que inicie sesión en su cuenta se pedirá tanto la contraseña de acceso como el código generado por la aplicación multifactor.

Slurm, sistema de gestión de recursos

En el NLHPC utilizamos Slurm como gestor de recursos. Slurm provee de un framework para encolar trabajos, asignación de nodos de cómputo, reserva de tiempo de CPU, ejecución y gestión de trabajos dentro de clúster. Nuestros nodos de cómputo se encuentran agrupados en particiones, dentro de las cuales los usuarios pueden ejecutar sus trabajos dependiendo de sus necesidades.

Para ver más información acerca de cómo trabajar con Slurm en el clúster, por favor visite el tutorial de ejecución de tareas dentro de Leftaru.

Lustre, sistema de archivos distribuido

Lustre es un conocido sistema de archivos distribuido de alta disponibilidad que permite usar una red de computadores para construir un espacio de almacenamiento amplio, escalable y mantenible en el que se pueden definir cuotas de utilización por usuario.

Lustre es open source, pero debido a su envergadura y dificultad para constituirlo, se ha optado por contratar una solución privada (a la empresa DDN) que incluye tanto infraestructura como configuraciones optimizadas de tal manera de contar con una opción de almacenamiento acorde a las necesidades del NLHPC.

Limitaciones y excepciones de Lustre: A pesar de tener muchas características sobresalientes, y en pos de aumentar el rendimiento de la lectura y escritura de archivos, Lustre no permite bloquear un archivo (file locking en inglés). Esto implica que muchos de los motores de bases de datos más conocidos (MySQL, Postgres, etc.) e incluso algunas aplicaciones que hacen uso de esta característica no funcionen o se caigan en su ejecución. Se recomienda realizar esa parte del trabajo en la partición /mnt/flock/usuario.

Tutoriales

Tutorial de acceso a Leftraru via SSH

Ejecución de tareas dentro de Leftaru

Presentación uso del clúster del NLHPC

Escalamiento de Aplicaciones

Monitoreo De Tareas

Documentación de temas relacionados con el software del clúster