☁️
s3のビッグデータを rclone で local に mount
s3など、cloud storage にある ビッグデータをローカルPCに mount
- この記事は、ポイントのみのメモ書きからスタートしています。修正、補足は随時行います。
想定読者
- ビッグデータにある数十～数百GのデータをローカルPCにマウントして操作したい人
- ビッグデータなんで、リモート、ローカルを同期したくないのは当然
- PCの OS は、windows,linux,mac を想定
rclone を使う --- なぜ？
- 無料
- いろんなプロトコルに対応
- 複数 OS 対応 windows ,Mac,Linux
rclone インストールして使えるようにする
データをS3 にアップして、rclone を設定する
- 対象となるデータを、s3 にアップ
- データは、アクセス制限するのが普通
- IAM をつかって認証用のaccess_keyと secret_key をつくる
- rclone の設定 参考記事を見ればなんとかなるでしょう。command line の設定なので、少々いらつきます。
- rclone がちゃんと動いているかの確認
- rclone lsd <リモートの名前>: これで、見えるトップのバケット一覧がでます。<>は、中身を適宜書き換えてねという意味です。<>を書いてはいけません。実際の例は、こんなです。
rclone lsd aws-xxx: - rclone ls <リモートの名前>:<バケット名> これでバケットの中身の一覧が見れます。
rclone の設定ファイル rclone.conf
- command line 設定ツールで変更は不便です。設定ファイルは、テキストファイルなので、変更をするときは、エディタでいきなり行うのが楽です。それで設定ファイルのありかです。
- windows は、<ユーザのホームディレクトリ>\AppData\Roaming\rclone\rclone.conf です。
- Ubuntu だと、<ユーザのホームディレクトリ>/.config/rclone/rclone.conf です。
mount は、command line で行います。
- windows ドライブ名でなくてもいけるみたい。--network-mode はいるみたいだが未確認とりあえずつけておくといいでしょう。
- rclone mount <リモートの名前>:<バケット名> <ドライブ名> --network-mode
- ubuntu ユーザがアクセスできる空のマウントポイントをつくってマウント
- rclone mount <リモートの名前>:<バケット名> <マウントポイント>
Discussion