みなさんこんにちは！kirigayaです。
今回はよさげなMLツールと噂のDataiku(無料版)をColab上に構築しようと思います。
なんでColabなの？ていうと...なんとなく？できそうだったから？
特に深い理由はありません...
後付けするならGPUとかドライブのデータとかノートブックで処理したデータをDataikuで...
とか考えていました。
結論からいくとログイン画面までは問題なく到達しました。その後の処理は未検証です。
さっそくやっていきましょう。
※注意点としてはngrokとColabの有料版（pro）を使ったことです。
ngrokはローカルホストを公開可能なウェブアクセスポイントに変換するツールです。
アカウントを作成すれば無料で使うことができます。何かと便利
Colabの無料版は試してないですがターミナルが使えないので
!やマジックコマンド、shファイル、サブプロセスとかで出来るかもしれない...
ユーザーを作成しroot権限を付与する
cd /etc/sudoers.d/
このディレクトリにファイルを追加します。
touch users
ユーザーを作成します。
adduser test
vimを使ってファイルを編集（iで書き込みモード。Esc後に:wqで上書きして終了）
vim /etc/sudoers.d/users
ユーザーと権限を追加します。
test ALL=(ALL:ALL) NOPASSWD:ALL
作成したユーザーに切り替えます。
su - test
Dataikuのインストール
wget https://cdn.downloads.dataiku.com/public/dss/11.3.2/dataiku-dss-11.3.2.tar.gz
tar xzf dataiku-dss-11.3.2.tar.gz
dataiku-dss-11.3.2/installer.sh -d DATA_DIR -p 11000
ここで色々依存パッケージがないと言われるので足りないものをインストールします。
sudo -i "/home/kz/dataiku-dss-11.3.2/scripts/install/install-deps.sh" -without-java
再度実行
dataiku-dss-11.3.2/installer.sh -d DATA_DIR -p 11000
Dataiku起動！
DATA_DIR/bin/dss start
Waiting for DSS supervisor to start ...
backend STARTING
ipython STARTING
nginx STARTING
※ここからはノートブックセルの操作になります。
! pip install -q pyngrok==4.1.1
from pyngrok import ngrok
!ngrok authtoken #ここからはngrokに登録してトークンを発行して貼り付けてください
ngrok.kill() # プロセスの修了
url = ngrok.connect(port="11000") # 接続
表示されたURLクリックしてDataikuに接続
print(url)
終了する場合
ngrok.kill()
※追記
setup_dataiku.shファイルを作成し下記の内容を追記するだけでDataikuを起動することができます。
cd /etc/sudoers.d/
touch users
adduser test
echo "test ALL=(ALL:ALL) NOPASSWD:ALL" > users
su - test << 'EOF2'
wget https://cdn.downloads.dataiku.com/public/dss/11.3.2/dataiku-dss-11.3.2.tar.gz
tar xzf dataiku-dss-11.3.2.tar.gz
/home/test/dataiku-dss-11.3.2/installer.sh -d DATA_DIR -p 11000
sudo -i "/home/test/dataiku-dss-11.3.2/scripts/install/install-deps.sh" -without-java
/home/test/dataiku-dss-11.3.2/installer.sh -d DATA_DIR -p 11000
DATA_DIR/bin/dss start
EOF2
追記できたら! sh setup_dataiku.shでインストールが始まります。
Discussion