Tutorial gdrive y rclone

De NLHPC
Revisión del 17:01 28 oct 2024 de Eosorio (discusión | contribs.) (Página creada con «== Introducción == El siguiente tutorial tiene como finalidad ayudar a los usuarios a obtener datos desde Google Drive utilizando la utilidad '''rclone''', permitiendo que puedan descargar datos para que puedan ser utilizados en sus cálculos y tareas que puedan resolver utilizando nuestro clúster. Es necesario considerar que lo aquí presente considera: * El acceso es a directorios y archivos compartido de manera pública, * No se utilizará identificaciones de G…»)
(difs.) ← Revisión anterior | Revisión actual (difs.) | Revisión siguiente → (difs.)

Introducción

El siguiente tutorial tiene como finalidad ayudar a los usuarios a obtener datos desde Google Drive utilizando la utilidad rclone, permitiendo que puedan descargar datos para que puedan ser utilizados en sus cálculos y tareas que puedan resolver utilizando nuestro clúster.

Es necesario considerar que lo aquí presente considera:

  • El acceso es a directorios y archivos compartido de manera pública,
  • No se utilizará identificaciones de Google mediante su API para un acceso sencillo,
  • Los ejemplos presentados están pensados para ser utilizados en las particiones login y main,
  • Siempre se recomendará que la descarga de archivos debe realizarse de manera independiente a la ejecución de simulaciones que requieran una alta demanda de poder de cómputo.

Compartir directorio y/o archivo de Google Drive

Configuración de acceso

Es necesario acceder a la cuenta de Google Drive u obtener la URL del directorio o archivo que deseamos copiar hacia el clúster.

En el caso de que seamos propietarios del contenido a copiar, podemos:

  1. Buscar directorio o archivo a compartir
  2. Click derecho sobre el nombre para abrir menú contextual
  3. Seleccionar "Compartir" y luego en "Compartir" nuevamente
  4. En la ventana para configurar los permisos de "Acceso General" seleccionamos "Cualquier persona con el enlace" en modo "Lector"
  5. Presionar el botón "Hecho"

GDRIVE-sharing.png

Copiar URL de directorio o archivo compartido

Cuando ya se realizan los ajustes a la configuración deltipo de acceso, será posible copiar la URL siguiendo los pasos:

  1. Buscar directorio o archivo a compartir
  2. Click derecho sobre el nombre para abrir menú contextual
  3. Seleccionar "Compartir" y luego "Copiar enlace"

GDRIVE-sharing-url.png

La URL quedará en el buffer por lo que podremos pegar dicha información (CTRL+V), lo que será similar a:

https://drive.google.com/drive/folders/1BgVf...Bag?usp=drive_link

Carga y configuración de rclone

Carga de módulos

Cargamos rclone mediante el uso de módulos ejecutando a:

ml purge
ml rclone/1.68.1

Configuración inicial de rclone