Tutorial gdrive y rclone
Introducción
El siguiente tutorial tiene como finalidad ayudar a los usuarios a obtener datos desde Google Drive utilizando la utilidad rclone, permitiendo que puedan descargar datos para que puedan ser utilizados en sus cálculos y tareas que puedan resolver utilizando nuestro clúster.
Es necesario considerar que lo aquí presente considera:
- El acceso es a directorios y archivos compartido de manera pública,
- No se utilizará identificaciones de Google mediante su API para un acceso sencillo,
- Los ejemplos presentados están pensados para ser utilizados en las particiones login y main,
- Siempre se recomendará que la descarga de archivos debe realizarse de manera independiente a la ejecución de simulaciones que requieran una alta demanda de poder de cómputo.
Compartir directorio y/o archivo de Google Drive
Configuración de acceso
Es necesario acceder a la cuenta de Google Drive u obtener la URL del directorio o archivo que deseamos copiar hacia el clúster.
En el caso de que seamos propietarios del contenido a copiar, podemos:
- Buscar directorio o archivo a compartir
- Click derecho sobre el nombre para abrir menú contextual
- Seleccionar "Compartir" y luego en "Compartir" nuevamente
- En la ventana para configurar los permisos de "Acceso General" seleccionamos "Cualquier persona con el enlace" en modo "Lector"
- Presionar el botón "Hecho"
Copiar URL de directorio o archivo compartido
Cuando ya se realizan los ajustes a la configuración deltipo de acceso, será posible copiar la URL siguiendo los pasos:
- Buscar directorio o archivo a compartir
- Click derecho sobre el nombre para abrir menú contextual
- Seleccionar "Compartir" y luego "Copiar enlace"
La URL quedará en el buffer por lo que podremos pegar dicha información (CTRL+V), lo que será similar a:
https://drive.google.com/drive/folders/1BgVf...Bag?usp=drive_link
Carga y configuración de rclone
Carga de módulos
Cargamos rclone mediante el uso de módulos ejecutando a:
ml purge ml rclone/1.68.1
Configuración inicial de rclone
El proceso de configuración inicial de rclone se realizará:
- En un nodo de acceso,
- Configuración de parámetros iniciales,
- Crear túnel SSH,
- Autorizar acceso a cuenta de Google Drive,
- Finalizar la configuración.
