Uso de conda
Introducción
Si necesita utilizar entornos virtuales de Conda, el siguiente procedimiento muestra los pasos básicos para crear su primer entorno virtual.
Debe recordar que al ser entornos virtuales, estos estarán almacenados bajo su directorio $HOME y las instalaciones de software bajo este entorno deben ser administradas por el propio usuario.
Módulos para Conda
Actualmente en el cluster contamos con distintos módulos que pueden ser utilizados para la creación de entornos virtuales de Conda.
Para particiones general y largemem
Anaconda2/5.3.0 Anaconda3/5.1.0 Anaconda3/5.3.0 Anaconda3/2020.02 Miniconda2/4.7.10 Miniconda3/4.5.12
Para particiones debug y main
miniconda3/24.3.0-zen4-h
Para nuestro ejemplo utilizaremos miniconda3/24.3.0-zen4-h, pero puede utilizar el módulo que se adapte a sus necesidades.
Carga de módulo y activación inicial de Conda
El siguiente paso debe realizarse una única vez, posterior a esto, el usuario deberá crear, activar y administrar sus propios entornos virtuales.
Carga de módulo
Cargaremos el módulo miniconda3/24.3.0-zen4-h.
Recuerde que si omite la versión del módulo a cargar, se utilizará el que esté por defecto.
ml purge ml aocc ml miniconda3/24.3.0-zen4-h
Activación de Conda
Activaremos el uso de conda con el comando:
conda init bash
Este comando editará su archivo ~/.bashrc con un contenido similar a:
# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/home/modules/spack/opt/spack/linux-rocky9-zen4/aocc-4.2.0/miniconda3-24.3.0-h5ocuzzvejq6feasdmjmtv4iw5gyt5a2/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
eval "$__conda_setup"
else
if [ -f "/home/modules/spack/opt/spack/linux-rocky9-zen4/aocc-4.2.0/miniconda3-24.3.0-h5ocuzzvejq6feasdmjmtv4iw5gyt5a2/etc/profile.d/conda.sh" ]; then
. "/home/modules/spack/opt/spack/linux-rocky9-zen4/aocc-4.2.0/miniconda3-24.3.0-h5ocuzzvejq6feasdmjmtv4iw5gyt5a2/etc/profile.d/conda.sh"
else
export PATH="/home/modules/spack/opt/spack/linux-rocky9-zen4/aocc-4.2.0/miniconda3-24.3.0-h5ocuzzvejq6feasdmjmtv4iw5gyt5a2/bin:$PATH"
fi
fi
unset __conda_setup
# <<< conda initialize <<<
Si elimina estas líneas, deberá cargar el módulo y activar conda nuevamente.
En este punto, es necesario puede salir de su sesión y volver a acceder, o ejecutar el siguiente comando para activar volver a cargar su archivo ~/.bashrc:
source ~/.bashrc
Y ya tendrá disponible el comando conda disponible en su sesión.
Creación de entorno virtual
Los siguientes pasos permitirán crear un entorno virtual bajo su cuenta personal.
Creando nuestro entorno virtual
Crearemos nuestro entorno virtual con el comando:
conda create -n mi_primer_entorno
Una vez que este entorno se haya creado, lo podremos activar con:
conda activate mi_primer_entorno
Fíjese que el prompt de su cuenta indicará el nombre del entorno virtual que esté activo. En una primera instancia verá un cambio de base por mi_primer_entorno
Creando un entorno virtual con Python 3.9.5
En el caso de querer crear un entorno virtual y en el mismo paso instalar Python en una versión específica, puede usar el comando:
conda create -n mi_entorno_con_python python=3.9.5
Este comando creará el entorno mi_entorno_con_python e instalará la versión 3.9.5 de Python.
Eventualmente, y luego que su entorno haya sido creado, podrá activar este nuevo entorno y verificar la ubicación del comando python
conda activate mi_entorno_con_python which python
Instalación de software adicional
Cuando requiera instalar nuevo software, bastará que active su entorno virtual y use el comando conda para la instalación de software.
Por ejemplo, si queremos instalar Tensorflow en nuestro entorno mi_primer_entorno, podemos ejecutar:
conda activate mi_primer_entorno conda install Tensorflow
Un ejemplo práctico e instalación de numpy
Veamos un ejemplo real: Muchos de nuestros usuarios que utilizan Python requieren el uso de NumPy.
Para la instalación bajo nuestro entorno que ya tiene Python instalado, ejecutaremos
conda activate mi_entorno_con_python conda install numpy
Veremos un mensaje similar a:
Collecting package metadata (current_repodata.json): done
Solving environment: done
## Package Plan ##
environment location: /home/dbowman/.conda/envs/my_env
added / updated specs:
- numpy
The following packages will be installed:
ca-certificates 2023.5.7-hbcca054_0 --> 2023.7.22-hbcca054_0
certifi 2023.5.7-pyhd8ed1ab_0 --> 2023.7.22-pyhd8ed1ab_0
numpy 1.24.3-py311h64a7726_0 --> 1.25.1-py311h64a7726_0
openssl 3.1.0-hd590300_3 --> 3.1.1-hd590300_1
...
Proceed ([y]/n)?
Si aceptamos las dependencias se realizará la instalación y veremos un mensaje de finalización exitoso similar a:
Preparing transaction: done Verifying transaction: done Executing transaction: done
Uso de entornos conda con scripts Sbatch
Ya hemos creado nuestros entornos virtuales, como también hemos instalado el software que vamos a necesitar.
Ahora necesitamos ejecutar nuestras simulaciones en los nodos de cómputo, y para esto debemos indicar en nuestro script SBatch las siguientes instrucciones luego de haber realizado una reserva de recursos:
eval "$(conda shell.bash hook)" conda activate mi_primer_entorno
De esa manera será posible crear un script que se verá similar a:
#!/bin/bash #SBATCH -J conda_test #SBATCH -p main #SBATCH -n 1 #SBATCH -c 1 #SBATCH --mem-per-cpu=2300 #SBATCH --mail-user=foo@example.com #SBATCH --mail-type=ALL #SBATCH -o conda_test_%j.out
#Cargamos módulos de ser necesario ml ...
#Activamos entorno CONDA eval "$(conda shell.bash hook)" conda activate mi_primer_entorno
... mis comandos...
Es importante destacar que la activación del entorno conda debe realizarse después del uso de cualquier comando ml, ya que la carga de módulos puede afectar a la activación del entorno virtual.
Eliminación de Conda y entornos virtuales
Eliminación de Entornos
Puede listar sus entornos virtuales con el comando:
conda env list
Y en el caso de querer eliminar un entorno virtual puede ejecutar indicando el nombre de entorno:
conda-env remove -n mi_primer_entorno
También puede eliminar todos los entornos borrando la carpeta contenedora:
rm -rf ~/.conda
Eliminación de Conda y del entorno
Para eliminar el uso de Conda de nuestro archivo debemos editar nuestro archivo ~/.bashrc y eliminar el contenido similar a:
# >>> conda initialize >>>
# !! Contents within this block are managed by 'conda init' !!
__conda_setup="$('/home/modules/spack/opt/spack/linux-rocky9-zen4/aocc-4.2.0/miniconda3-24.3.0-h5ocuzzvejq6feasdmjmtv4iw5gyt5a2/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
if [ $? -eq 0 ]; then
eval "$__conda_setup"
else
if [ -f "/home/modules/spack/opt/spack/linux-rocky9-zen4/aocc-4.2.0/miniconda3-24.3.0-h5ocuzzvejq6feasdmjmtv4iw5gyt5a2/etc/profile.d/conda.sh" ]; then
. "/home/modules/spack/opt/spack/linux-rocky9-zen4/aocc-4.2.0/miniconda3-24.3.0-h5ocuzzvejq6feasdmjmtv4iw5gyt5a2/etc/profile.d/conda.sh"
else
export PATH="/home/modules/spack/opt/spack/linux-rocky9-zen4/aocc-4.2.0/miniconda3-24.3.0-h5ocuzzvejq6feasdmjmtv4iw5gyt5a2/bin:$PATH"
fi
fi
unset __conda_setup
# <<< conda initialize <<<
Se debe guardar los cambios y salir de la sesión.
La próxima vez que se acceda a nuestra cuenta, ya no estará disponible para su uso.
Si se requiere volver a utilizar Conda, será necesario inicializar nuevamente nuestro entorno.
Buenas prácticas
En los ejemplos vistos, tenemos dos entornos virtuales: mi_primer_entorno y mi_entorno_con_python.
Pero estos nombres no nos dicen mucho.
Debe recordar que cada entorno virtual puede contener distintas colecciones de software, por lo que es una buena práctica que el nombre del entorno virtual sea descriptivo para su uso.
De esta manera, se mostrará las dependencias necesarias y deberá aceptar la instalación.
Si desea instalar y aceptar todas las dependencias de manera automática puede ejecutar:
conda install -y Tensorflow
También es necesario mencionar que debe cuidar al cargar otros módulos, ya que pueden generar conflictos con versiones de software disponibles en el cluster en comparación a los que un entorno virtual les pueda ofrecer.
Por ejemplo, si cargamos un módulo de Python y verificamos la ubicación del interprete de Python veremos lo siguiente:
[dbowman@leftraru1 ~]$ ml Python [dbowman@leftraru1 ~]$ which python /home/lmod/software/Python/3.9.5-intel-2019b/bin/python [dbowman@leftraru1 ~]$ conda activate mi_entorno_con_python [dbowman@leftraru1 ~]$ which python ~/.conda/envs/mi_entorno_con_python/bin/python [dbowman@leftraru1 ~]$ ml Python [dbowman@leftraru1 ~]$ which python /home/lmod/software/Python/3.9.5-intel-2019b/bin/python
En el ejemplo anterior vemos que se carga el módulo de Python Python/3.9.5 y el interprete corresponde a /home/lmod/software/Python/3.9.5-intel-2019b/bin/python.
Posterior a eso se activa el entorno virtual mi_entorno_con_python y el interprete corresponde a ~/.conda/envs/mi_entorno_con_python/bin/python.
Nuevamente cargamos el módulo de Python Python/3.9.5 y el interprete corresponde a /home/lmod/software/Python/3.9.5-intel-2019b/bin/python. Y aunque nuestro entorno sigue activo, al momento de utilizar el comando python puede que estemos utilizando otro.
Más información
Le invitamos a visitar https://anaconda.org/ donde encontrará más información como software disponible para instalar.
También lo invitamos a escribirnos a soporte@nlhpc.cl si necesita soporte.
