Tutorial gdrive y rclone - Historial de revisiones

Eosorio en 19:58 28 oct 2024

2024-10-28T19:58:25Z

← Revisión anterior		Revisión del 19:58 28 oct 2024
Línea 146:		Línea 146:

	Si deseamos realizar una copia de archivos utilizando [https://wiki.nlhpc.cl/SISTEMA_GESTOR_DE_RECURSOS SLURM] podemos hacer algo similar a:		Si deseamos realizar una copia de archivos utilizando [https://wiki.nlhpc.cl/SISTEMA_GESTOR_DE_RECURSOS SLURM] podemos hacer algo similar a:
			#!/bin/bash
			#SBATCH -J fromGdrive
			#SBATCH -p main
			#SBATCH -n 1
			#SBATCH -c 1
			#SBATCH --mem-per-cpu=2839
			#SBATCH --mail-type=ALL
			#SBATCH -o fromGdrive_%j.out
			ml purge
			ml rclone/1.68.1
			mkdir mi_copia_local
			rclone copy my_gdrive:images2/ mi_copia_local


			Y de esta manera obtener los archivos que necesitará para sus eventuales simulaciones.

			== Enlaces de interés ==

			Lo invitamos a ver los siguientes enlaces, que pueden resultar de utilidad:

			* [[Tutorial de acceso a archivos\|Tutorial de Acceso a Archivos]]
			* [[Tutorial de acceso a Leftraru via SSH\|Tutorial de acceso vía SSH]]
			* [https://rclone.org/drive/ Dolcumentación oficial de RClone y el uso con GDrive]

Eosorio en 19:54 28 oct 2024

2024-10-28T19:54:15Z

@@ Línea 8: / Línea 8: @@
 * Los ejemplos presentados están pensados para ser utilizados en las particiones '''login''' y '''main''',
 * Siempre se recomendará que la descarga de archivos debe realizarse de manera independiente a la ejecución de simulaciones que requieran una alta demanda de poder de cómputo.
 == Carga y configuración de '''rclone''' ==
@@ Línea 83: / Línea 57: @@
 # New Remote ('''n''')
-# Name for new remote (a discreción del usuario)
+# Name for new remote (a discreción del usuario, ejemplo '''my_gdrive''')
 # Type of storage ('''19''' equivale al valor de '''Google Drive''', el valor numerico puede variar)
 # Client ID (dejar en blanco)
@@ Línea 128: / Línea 102: @@
 En el último paso podrá agregar un nuevo origen de datos demoto, editar o borrar, aunque estas acciones quedan fuera del alcance de este documento.

Eosorio en 19:40 28 oct 2024

2024-10-28T19:40:23Z

← Revisión anterior		Revisión del 19:40 28 oct 2024
Línea 1:		Línea 1:
	== Introducción ==		== Introducción ==

	El siguiente tutorial tiene como finalidad ayudar a los usuarios a obtener datos desde Google Drive utilizando la utilidad '''rclone''', permitiendo que puedan ~~descargar~~ datos para que ~~puedan~~ ser utilizados en sus cálculos y tareas ~~que puedan resolver utilizando nuestro clúster~~.		El siguiente tutorial tiene como finalidad ayudar a los usuarios a obtener datos desde Google Drive utilizando la utilidad '''rclone''', permitiendo que puedan copiar datos para que ser utilizados en sus cálculos y tareas.

	Es necesario considerar que lo aquí presente considera:		Es necesario considerar que lo aquí presente considera:
Línea 97:		Línea 97:
	El puerto indicado en el ejemplo anterior es el '''53682''', el que se utilizará para generar el túnel SSH y permitir el acceso a nuestra cuenta.		El puerto indicado en el ejemplo anterior es el '''53682''', el que se utilizará para generar el túnel SSH y permitir el acceso a nuestra cuenta.

	=== Crear túnel SSH ===		=== Crear túnel SSH y ===

	Necesitamos saber el nombre del nodo de acceso, como se indicó en la sección '''Identificación de nodo de acceso'''.		Necesitamos saber el nombre del nodo de acceso, como se indicó en la sección '''Identificación de nodo de acceso'''.
Línea 109:		Línea 109:

	Es importante a considerar qué el valor '''53682''' es indicado en la pantalla al momento de seleccionar '''Web Browser authentication'''.		Es importante a considerar qué el valor '''53682''' es indicado en la pantalla al momento de seleccionar '''Web Browser authentication'''.

			=== Autorizar acceso a cuenta de Google Drive ===

	Eventualmente podremos abrir en nuestro navegador local la URL '''http://localhost:53682/auth?state=levQe...v1X7Q'''.		Eventualmente podremos abrir en nuestro navegador local la URL '''http://localhost:53682/auth?state=levQe...v1X7Q'''.
Línea 117:		Línea 119:

	[[File:GDRIVE-sharing-auth.png]]		[[File:GDRIVE-sharing-auth.png]]

			=== Finalizar la configuración. ===

			Una vez autorizado el acceso a Google Drive, podemos continuar con los pasos finales de configuración:

			* Keep this remote ('''y''' note que se indicará el nombre dado al proceso de configuración)
			* Quit config ('''q''')

			En el último paso podrá agregar un nuevo origen de datos demoto, editar o borrar, aunque estas acciones quedan fuera del alcance de este documento.

Eosorio: /* Carga y configuración de rclone */

2024-10-28T19:33:13Z

Carga y configuración de rclone

@@ Línea 36: / Línea 36: @@
 == Carga y configuración de '''rclone''' ==
 === Carga de módulos ===
@@ Línea 44: / Línea 53: @@
   ml rclone/1.68.1
-=== Configuración inicial de rclone ===
+Con estos pasos ya tendremos acceso a la aplicación '''rclone'''
-El proceso de configuración inicial de '''rclone''' se realizará:
+Es importante a considerar qué el valor '''53682''' es indicado en la pantalla al momento de seleccionar '''Web Browser authentication'''.
-* En un nodo de acceso,
+[[File:GDRIVE-sharing-auth.png]]

Eosorio: /* Configuración inicial de rclone */

2024-10-28T17:17:24Z

Configuración inicial de rclone

← Revisión anterior		Revisión del 17:17 28 oct 2024
Línea 45:		Línea 45:

	=== Configuración inicial de rclone ===		=== Configuración inicial de rclone ===

			El proceso de configuración inicial de '''rclone''' se realizará:

			* En un nodo de acceso,
			* Configuración de parámetros iniciales,
			* Crear túnel SSH,
			* Autorizar acceso a cuenta de Google Drive,
			* Finalizar la configuración.

Eosorio: Página creada con «== Introducción == El siguiente tutorial tiene como finalidad ayudar a los usuarios a obtener datos desde Google Drive utilizando la utilidad '''rclone''', permitiendo que puedan descargar datos para que puedan ser utilizados en sus cálculos y tareas que puedan resolver utilizando nuestro clúster. Es necesario considerar que lo aquí presente considera: * El acceso es a directorios y archivos compartido de manera pública, * No se utilizará identificaciones de G…»

2024-10-28T17:01:47Z

Página creada con «== Introducción == El siguiente tutorial tiene como finalidad ayudar a los usuarios a obtener datos desde Google Drive utilizando la utilidad '''rclone''', permitiendo que puedan descargar datos para que puedan ser utilizados en sus cálculos y tareas que puedan resolver utilizando nuestro clúster. Es necesario considerar que lo aquí presente considera: * El acceso es a directorios y archivos compartido de manera pública, * No se utilizará identificaciones de G…»

Página nueva

== Introducción ==

El siguiente tutorial tiene como finalidad ayudar a los usuarios a obtener datos desde Google Drive utilizando la utilidad '''rclone''', permitiendo que puedan descargar datos para que puedan ser utilizados en sus cálculos y tareas que puedan resolver utilizando nuestro clúster.

Es necesario considerar que lo aquí presente considera:
* El acceso es a directorios y archivos compartido de manera pública,
* No se utilizará identificaciones de Google mediante su API para un acceso sencillo,
* Los ejemplos presentados están pensados para ser utilizados en las particiones '''login''' y '''main''',
* Siempre se recomendará que la descarga de archivos debe realizarse de manera independiente a la ejecución de simulaciones que requieran una alta demanda de poder de cómputo.

== Compartir directorio y/o archivo de Google Drive ==

=== Configuración de acceso ===

Es necesario acceder a la cuenta de Google Drive u obtener la URL del directorio o archivo que deseamos copiar hacia el clúster.

En el caso de que seamos propietarios del contenido a copiar, podemos:
# Buscar directorio o archivo a compartir
# Click derecho sobre el nombre para abrir menú contextual
# Seleccionar "Compartir" y luego en "Compartir" nuevamente
# En la ventana para configurar los permisos de "Acceso General" seleccionamos "Cualquier persona con el enlace" en modo "Lector"
# Presionar el botón "Hecho"
[[File:GDRIVE-sharing.png]]

=== Copiar URL de directorio o archivo compartido ===

Cuando ya se realizan los ajustes a la configuración deltipo de acceso, será posible copiar la URL siguiendo los pasos:
# Buscar directorio o archivo a compartir
# Click derecho sobre el nombre para abrir menú contextual
# Seleccionar "Compartir" y luego "Copiar enlace"
[[File:GDRIVE-sharing-url.png]]

La URL quedará en el buffer por lo que podremos pegar dicha información (CTRL+V), lo que será similar a:

https://drive.google.com/drive/folders/1BgVf...Bag?usp=drive_link

== Carga y configuración de '''rclone''' ==

=== Carga de módulos ===

Cargamos '''rclone''' mediante el uso de módulos ejecutando a:

ml purge
ml rclone/1.68.1

=== Configuración inicial de rclone ===