훅크선장의 전함

다른 사람이 공유해 준, 구글 드라이브의 대용량 파일을 끊김없이 안전하게 오랫동안 다운로드 하는 방법으로,

rclone 프로그램을 이용해봤다. 

Mac OS X 상에서 콘솔로 실행하다 보니, 아무래도 설정파일을 맞추기가 쉽지 않았다. 대충 때려 잡아서...

일단 rclone-v1.59.1-osx-amd64  버전을 다운로드 받아서, zip 압축을 풀었다.

./rclone --config hook.conf config 

명령으로 나만의 config 파일을 별도로 생성할 수 있다.

원래 기본 config 파일은 계정의 홈디렉토리 쪽  ~/.config/rclone/rclone.conf  에 있다.

https://vision4me.tistory.com/18

https://hjm79.top/rclone-mount/

위와 같이, 구글 드라이브를 접근 설정하고 나면(구글 웹브라우저 인증을 받고 나면), 기본 설정 파일이 생기는데, 그 안에 추가로 나만의 설정을 넣으면 된다.

[mygoogledrive]

type = drive

scope = drive

token = {"access_token":"...---...","token_type":"Bearer","refresh_token":"...---...","expiry":"2022-09-15T19:25:56.873327+09:00"}

team_drive = 000AAAABBBBCCCCDD

root_folder_id = 1zGG11122233344455_kfkfa_AbCdhw0j

server_side_across_configs = true

공유하는 쪽에서 보내주는 team_drive 값을 반드시 추가해야 하고, root_folder_id 도 반드시 넣어야 한다.

자신의 구글 드라이브에 들어가서,  공유 문서함에서 공유된 폴더에 바로 들어갔을 때, 웹브라우저의 주소창에  

https://drive.google.com/drive/u/0/folders/1zGG11122233344455_kfkfa_AbCdhw0j   에서

1zGG11122233344455_kfkfa_AbCdhw0j  와 같은 문자열을  root_folder_id 에 추가한다.

./rclone --config hook.conf ls mygoogledrive:/dir/

명령으로 디렉토리 내용을 나열할 수 있고,

원격 파일의 로컬로 복사는

./rclone --config hook.conf -v --transfers 10 copy mygoogledrive:/dir/bigfile.img /localdir/

와 같은 명령으로, source 쪽은 디렉토리나 파일을 지정할 수 있고,  destination 쪽은 디렉토리만 지정하면 된다. 

hook.conf 파일을 ~/.config/rclone/rclone.conf로 복사하면, --config hook.conf  옵션이 없는 상태로도 간단히 위의 명령어들을 사용할 수 있다.

아래와 같이 Pycharm 개발환경에서는 로컬 컴퓨터의 anaconda 같은 가상환경이나 원격 ssh 로그인을 하는 interpreter 환경은 바로 지원하지만, 원격 ssh 상태에서 anaconda 환경을 사용할 수 있는 방법은 없는 것으로 알려져 있다.

https://youtrack.jetbrains.com/issue/PY-35978

그러나, 위와 같이 별도 스크립트 파일을 통해서, 원격 anaconda 환경을 인터프리터로 사용할 수 있다.

원격 ssh 로그인 환경에서 아래와 같은 쉘 스크립트 파일을 하나 생성한다. 파일명을 python 이라고 해도 되고, 다른 이름을 원하는 대로 생성하면 된다. 여기서 아래 스크립트 파일명은 python_env 이다.

#!/usr/bin/env bash

source /home/jetbrains/miniconda3/etc/profile.d/conda.sh
conda activate py_35978
python "$@"

위의 경로명에서 /home/jetbrains/miniconda3 부분은 자신의 ssh 로그인 환경에 맞게 수정한다.

 py_35978 이라는 가상환경 명도 자신의 환경에 맞게 수정한다.

※ 참고로 나는 추가적으로 python "$@" 줄을 python3 "$@"로 수정했다.

ssh 로그인 상태에서 chmod +x python_env  명령으로, 실행파일로 생성한다.

./python_env  명령을 실행하였을 때, 파이썬 쉘 환경이 되어야만 정상적인 것이다.

PyCharm에서 새로운 프로젝트를 생성하고, SSH 인터프리터를 원격  ssh 서버로 지정한 다음, Interpreter 를 기존의  /usr/bin/python 이 아니라,  /home/jetbrains/python_env  와 같이, 앞에 생성한 쉘 스크립트의 정확한 경로명과 파일명을 적어준다. 

새로운 프로젝트에서 Terminal 창을 열고서, 다음과 같은 파이썬 코드를 입력한다.
import os
print(os.environ.get('CONDA_PREFIX'))

아마 결과가  다음과 같이 출력되면, 정상적인 설정이 된 것이다.
/home/jetbrains/miniconda3/envs/py_35978