Apptainer - Historial de revisiones

Administrador: /* Ejemplo contenedor PyTorch */

2025-04-07T19:22:12Z

Ejemplo contenedor PyTorch

← Revisión anterior		Revisión del 19:22 7 abr 2025
Línea 270:		Línea 270:
	# ----------------Comando--------------------------		# ----------------Comando--------------------------

	apptainer exec $IMAGES/~~pytorch_latest~~.sif python script.py		apptainer exec $IMAGES/rocm6.3.2_mi210_ubuntu22.04_py3.12_vllm_0.7.1.dev103_ib.sif python script.py

	</pre>		</pre>

Eguerra en 14:59 28 may 2024

2024-05-28T14:59:16Z

← Revisión anterior		Revisión del 14:59 28 may 2024
Línea 246:		Línea 246:

	apptainer exec $IMAGES/tensorflow_latest.sif python script.py		apptainer exec $IMAGES/tensorflow_latest.sif python script.py

			</pre>

			=== Ejemplo contenedor PyTorch ===
			<pre>
			#!/bin/bash
			#---------------Script SBATCH - NLHPC ----------------
			#SBATCH -J pytorch_amd
			#SBATCH -p mi210
			#SBATCH -n 1
			#SBATCH --gres=gpu:1
			#SBATCH -c 4
			#SBATCH --mem-per-cpu=30354
			#SBATCH --mail-user=test@correo.com
			#SBATCH --mail-type=ALL
			#SBATCH -o pytorch_amd_%j.out
			#SBATCH -e pytorch_amd%j.err

			#-----------------Toolchain---------------------------
			# ----------------Modulos----------------------------
			ml aocc/4.2.0
			ml apptainer/1.3.1
			# ----------------Comando--------------------------

			apptainer exec $IMAGES/pytorch_latest.sif python script.py

	</pre>		</pre>

Eguerra en 14:17 28 may 2024

2024-05-28T14:17:04Z

@@ Línea 223: / Línea 223: @@
 </pre>
 Más información pueden encontrar en https://github.com/amd/InfinityHub-CI/
 </pre>

Eguerra en 20:05 14 may 2024

2024-05-14T20:05:51Z

← Revisión anterior		Revisión del 20:05 14 may 2024
Línea 14:		Línea 14:

	* ml aocc/4.2.0		* ml aocc/4.2.0
	* ml apptainer/1.1.9		* ml apptainer/1.3.1

	== Ejemplos de Lanzador ==		== Ejemplos de Lanzador ==
Línea 28:		Línea 28:
	prueba@leftraru1:~$ ml purge		prueba@leftraru1:~$ ml purge
	prueba@leftraru1:~$ ml aocc/4.2.0		prueba@leftraru1:~$ ml aocc/4.2.0
	prueba@leftraru1:~$ ml apptainer/1.1.9		prueba@leftraru1:~$ ml apptainer/1.3.1
	</pre>		</pre>

Línea 79:		Línea 79:
	#Modulos Necesarios		#Modulos Necesarios
	ml aocc/4.2.0		ml aocc/4.2.0
	ml apptainer/1.1.9		ml apptainer/1.3.1

	#Creación de carpeta		#Creación de carpeta
Línea 185:		Línea 185:
	<pre>		<pre>
	ml aocc/4.2.0		ml aocc/4.2.0
	ml apptainer/1.1.9		ml apptainer/1.3.1
	</pre>		</pre>

Línea 217:		Línea 217:
	# ----------------Modulos----------------------------		# ----------------Modulos----------------------------
	ml aocc/4.2.0		ml aocc/4.2.0
	ml apptainer/1.1.9		ml apptainer/1.3.1
	# ----------------Comando--------------------------		# ----------------Comando--------------------------

Eguerra en 19:57 14 may 2024

2024-05-14T19:57:37Z

← Revisión anterior		Revisión del 19:57 14 may 2024
Línea 4:		Línea 4:
	Uno de los principales usos de Apptainer es llevar contenedores y reproducibilidad a la informática científica y al mundo de la informática de alto rendimiento (HPC).		Uno de los principales usos de Apptainer es llevar contenedores y reproducibilidad a la informática científica y al mundo de la informática de alto rendimiento (HPC).

	Los contenedores de Apptainer se pueden usar para empaquetar flujos de trabajo científicos completos, software y bibliotecas, e incluso datos. Esto significa que no tiene que pedirle al administrador del clúster que instale nada por usted; puede ponerlo en un contenedor de ~~Singularity~~ y ejecutarlo.		Los contenedores de Apptainer se pueden usar para empaquetar flujos de trabajo científicos completos, software y bibliotecas, e incluso datos. Esto significa que no tiene que pedirle al administrador del clúster que instale nada por usted; puede ponerlo en un contenedor de Apptainer y ejecutarlo.

	El software Apptainer puede importar sus imágenes de Docker sin tener Docker instalado o ser un superusuario.		El software Apptainer puede importar sus imágenes de Docker sin tener Docker instalado o ser un superusuario.

	¿Necesitas compartir tu código? Póngalo en un contenedor de Apptainer y su colaborador no tendrá que pasar por la molestia de instalar dependencias faltantes. ¿Necesita ejecutar un sistema operativo completamente diferente? Puede "cambiar" el sistema operativo de su host por otro diferente dentro de un contenedor de ~~Singularity~~		¿Necesitas compartir tu código? Póngalo en un contenedor de Apptainer y su colaborador no tendrá que pasar por la molestia de instalar dependencias faltantes. ¿Necesita ejecutar un sistema operativo completamente diferente? Puede "cambiar" el sistema operativo de su host por otro diferente dentro de un contenedor de Apptainer

	== Modulos ==		== Modulos ==
Línea 85:		Línea 85:

	#Comandos		#Comandos
	srun ~~singularity~~ run hello-world_latest.sif		srun apptainer run hello-world_latest.sif
	</pre>		</pre>

Eguerra en 19:56 14 may 2024

2024-05-14T19:56:38Z

← Revisión anterior		Revisión del 19:56 14 may 2024
Línea 2:		Línea 2:
	Apptainer es un programa informático gratuito , multiplataforma y de código abierto que realiza la virtualización a nivel del sistema operativo, también conocida como containers.		Apptainer es un programa informático gratuito , multiplataforma y de código abierto que realiza la virtualización a nivel del sistema operativo, también conocida como containers.

	Uno de los principales usos de ~~Singularity~~ es llevar contenedores y reproducibilidad a la informática científica y al mundo de la informática de alto rendimiento (HPC).		Uno de los principales usos de Apptainer es llevar contenedores y reproducibilidad a la informática científica y al mundo de la informática de alto rendimiento (HPC).

	Los contenedores de Apptainer se pueden usar para empaquetar flujos de trabajo científicos completos, software y bibliotecas, e incluso datos. Esto significa que no tiene que pedirle al administrador del clúster que instale nada por usted; puede ponerlo en un contenedor de Singularity y ejecutarlo.		Los contenedores de Apptainer se pueden usar para empaquetar flujos de trabajo científicos completos, software y bibliotecas, e incluso datos. Esto significa que no tiene que pedirle al administrador del clúster que instale nada por usted; puede ponerlo en un contenedor de Singularity y ejecutarlo.

Eguerra: Página creada con «== ¿Qué es? == Apptainer es un programa informático gratuito , multiplataforma y de código abierto que realiza la virtualización a nivel del sistema operativo, también conocida como containers. Uno de los principales usos de Singularity es llevar contenedores y reproducibilidad a la informática científica y al mundo de la informática de alto rendimiento (HPC). Los contenedores de Apptainer se pueden usar para empaquetar flujos de trabajo científicos comple…»

2024-05-14T19:00:23Z

Página creada con «== ¿Qué es? == Apptainer es un programa informático gratuito , multiplataforma y de código abierto que realiza la virtualización a nivel del sistema operativo, también conocida como containers. Uno de los principales usos de Singularity es llevar contenedores y reproducibilidad a la informática científica y al mundo de la informática de alto rendimiento (HPC). Los contenedores de Apptainer se pueden usar para empaquetar flujos de trabajo científicos comple…»

Página nueva

== ¿Qué es? ==
Apptainer es un programa informático gratuito , multiplataforma y de código abierto que realiza la virtualización a nivel del sistema operativo, también conocida como containers.

Uno de los principales usos de Singularity es llevar contenedores y reproducibilidad a la informática científica y al mundo de la informática de alto rendimiento (HPC).

Los contenedores de Apptainer se pueden usar para empaquetar flujos de trabajo científicos completos, software y bibliotecas, e incluso datos. Esto significa que no tiene que pedirle al administrador del clúster que instale nada por usted; puede ponerlo en un contenedor de Singularity y ejecutarlo.

El software Apptainer puede importar sus imágenes de Docker sin tener Docker instalado o ser un superusuario.

¿Necesitas compartir tu código? Póngalo en un contenedor de Apptainer y su colaborador no tendrá que pasar por la molestia de instalar dependencias faltantes. ¿Necesita ejecutar un sistema operativo completamente diferente? Puede "cambiar" el sistema operativo de su host por otro diferente dentro de un contenedor de Singularity

== Modulos ==
Para el uso de '''Apptainer''' debe cargar los módulos:

* ml aocc/4.2.0
* ml apptainer/1.1.9

== Ejemplos de Lanzador ==
=== Importar imagen de Apptainer ===
Para este ejemplo utilizaremos la imagen de Apptainer hello-world (shub://singularityhub/hello-world), crearemos un directorio llamado Ejemplo y nos posicionaremos en el directorio creado:
<pre>
prueba@leftraru1:~$ mkdir Ejemplo
prueba@leftraru1:~$ cd Ejemplo/
</pre>

Cargar módulo de Apptainer:
<pre>
prueba@leftraru1:~$ ml purge
prueba@leftraru1:~$ ml aocc/4.2.0
prueba@leftraru1:~$ ml apptainer/1.1.9
</pre>

Crear carpeta temporal:
<pre>
prueba@leftraru1:~$ mkdir -p /tmp/singularityce/singularity/mnt/session
</pre>

Importar imagen de Apptainer:
<pre>
prueba@leftraru1:~/Ejemplo$ apptainer pull shub://singularityhub/hello-world
INFO: Downloading shub image
59.75 MiB / 59.75 MiB [=====================================================================================================================================================] 100.00% 12.41 MiB/s 4s
prueba@leftraru1:~/Ejemplo$ ll
total 57344
-rwxr-xr-x 1 prueba nlhpc 62652447 Jul 30 10:46 hello-world_latest.sif
</pre>

Ejecutando imagen:
<pre>
prueba@leftraru1:~/Ejemplo$ apptainer run hello-world_latest.sif
INFO: Convert SIF file to sandbox...
Tacotacotaco
INFO: Cleaning up image...
</pre>

Como se puede observar el resultado de ejecutar el contenedor es la palabra: '''Tacotacotaco'''

=== Generando Script ===
Ejemplo de script para lanzar en la partición general.

Utilizamos 1 nodos, 44 simulaciones por nodo y utilizamos los 187 Gb de Ram declarados en el script:

<pre>prueba@leftraru1:~/Ejemplo$ vim script_44cores.sh</pre>

Ejemplo de Script Slurm:
<pre>
#!/bin/bash
# ----------------SLURM Parameters----------------
#SBATCH -J Hello-world
#SBATCH -p general
#SBATCH -n 44
#SBATCH --ntasks-per-node=44
#SBATCH --mem-per-cpu=4250
#SBATCH --mail-user=prueba@nlhpc.cl
#SBATCH --mail-type=ALL
#SBATCH -o hello-world_%j.out
#SBATCH -e hello-world_%j.err

#Modulos Necesarios
ml aocc/4.2.0
ml apptainer/1.1.9

#Creación de carpeta
mkdir -p /tmp/singularityce/singularity/mnt/session

#Comandos
srun singularity run hello-world_latest.sif
</pre>

Lanzar script:
<pre>
prueba@leftraru1:~/Ejemplo$ sbatch script_44cores.sh
Submitted batch job 19051335
</pre>

Revisar estado del trabajo:
<pre>
prueba@leftraru1:~/Ejemplo$ squeue
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)
19051335 general Hello-wo prueba R 0:12 1 sn045
</pre>

Revisar estado de simulación: (trabajo finalizado correctamente)
<pre>
prueba@leftraru1:~/Ejemplo$ squeue
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)
</pre>

Revisión de inicio del trabajo mediante correo:

[[Archivo:Inicio Trabajo 19051335.jpg|no]]

Revisión de finalización de trabajo mediante correo:

[[Archivo:Finalización Trabajo 19051335.jpg|no]]

La tarea fue ejecutada en 3 minutos con 04 segundos.

Resultados de la tarea (se generan 2 archivos, 1 archivo error y un 1 archivo de salida):
<pre>
prueba@leftraru1:~/Ejemplo$ ll
total 61204
-rw-r--r-- 1 prueba nlhpc 3872 Jul 30 11:31 hello-world_19051335.err
-rw-r--r-- 1 prueba nlhpc 572 Jul 30 11:31 hello-world_19051335.out
-rwxr-xr-x 1 prueba nlhpc 62652447 Jul 30 11:16 hello-world_latest.sif
-rwxr-xr-x 1 prueba nlhpc 405 Jul 30 11:30 script_44cores.sh
</pre>

Resumen de archivo hello-world_19051335.out:

Aquí podemos ver que la ejecución nos entregó como resultado 44 veces la ejecución del contenedor (la simulación fue ejecutada de forma correcta).
<pre>
prueba@leftraru1:~/Ejemplo$ wc -l hello-world_19051335.out
44 hello-world_19051335.out
prueba@leftraru1:~/Ejemplo$ cat hello-world_19051335.out
Tacotacotaco
Tacotacotaco
Tacotacotaco
Tacotacotaco
Tacotacotaco
Tacotacotaco
Tacotacotaco
Tacotacotaco
Tacotacotaco
Tacotacotaco
Tacotacotaco
Tacotacotaco
Tacotacotaco
Tacotacotaco
Tacotacotaco
Tacotacotaco
Tacotacotaco
Tacotacotaco
Tacotacotaco
Tacotacotaco
Tacotacotaco
Tacotacotaco
Tacotacotaco
...
</pre>

Resumen de archivo hello-world_19051335.err:

Aquí podemos ver que Apptainer convirtió la imagen 44 veces y limpio la imagen 44 veces.
<pre>
prueba@leftraru1:~/Ejemplo$ wc -l hello-world_19051335.err
88 hello-world_19051335.err
prueba@leftraru1:~/Ejemplo$ cat hello-world_19051335.err
Resumen
INFO: Convert SIF file to sandbox...
INFO: Convert SIF file to sandbox...
INFO: Cleaning up image...
INFO: Cleaning up image...

</pre>

== Contenedores GPU AMD MI210 ==
Contamos con un directorio especial que contiene una serie de imágenes listas para ser ejecutadas en las GPU AMD MI210. Basta con cargar el módulo de Apptainer:

<pre>
ml aocc/4.2.0
ml apptainer/1.1.9
</pre>

<pre>
[modules@leftraru1 ~]$ ls $IMAGES
chroma_3.43.0.sif nwchem.sif ryzen-ai-tensorflow2_latest.sif
cp2k_2022.2.amd3.sif openfoam_2206.1.amd3.sif ryzen-ai-tensorflow_latest.sif
grid_0.8.2-20211213.sif openmm_7.7.0_49.sif specfem3d_9c0626d1-20201122.sif
gromacs_2022.3.amd1_174.sif petsc_3.18.amd4.sif specfem3d_globe_1ee10977-20210321.sif
lammps_2022.5.04_130.sif pyfr_1.14.0_48.sif trilinos_1.7.sif
namd_2.15a2-20211101.sif relion_4.0.sif uif-pytorch_uif1.2_rocm5.6.1_vai3.5_py3.8_pytorch1.13.sif
namd3_3.0a9.sif ryzen-ai-pytorch_latest.sif uif-tensorflow_uif1.2_rocm5.6.1_vai3.5_tensorflow2.12.sif
</pre>

=== Ejemplo contenedor CP2K ===
<pre>
#!/bin/bash
#---------------Script SBATCH - NLHPC ----------------
#SBATCH -J testamd
#SBATCH -p mi210
#SBATCH -n 16
#SBATCH --gres=gpu:1
#SBATCH -c 4
#SBATCH --mem-per-cpu=30354
#SBATCH --mail-user=test@correo.com
#SBATCH --mail-type=ALL
#SBATCH -o testamd_%j.out
#SBATCH -e testamd_%j.err

#-----------------Toolchain---------------------------
# ----------------Modulos----------------------------
ml aocc/4.2.0
ml apptainer/1.1.9
# ----------------Comando--------------------------

apptainer exec $IMAGES/cp2k_2022.2.amd3.sif mpirun -x NUM_CPUS=64 -x NUM_GPUS=6 -x RANK_STRIDE=6 -x OMP_NUM_THREADS=4 --oversubscribe -np 16 --bind-to none set_cpu_affinity.sh set_gpu_affinity.sh cp2k.psmp -i /opt/cp2k/benchmarks/QS_DM_LS/H2O-dft-ls.NREP2.inp -o /tmp/H2O-DFT-LS-NREP2-8GPU.txt

</pre>

Más información pueden encontrar en https://github.com/amd/InfinityHub-CI/

</pre>