Open4

Argilla (rg) ことはじめ

hironowhironow

roleは3つ owner, admin, annotator

環境変数でdefaultがpasswordとapi keyともに作成される:
解説: https://docs.argilla.io/en/latest/getting_started/installation/deployments/huggingface-spaces.html#setting-up-secret-environment-variables

サービス用環境変数一覧: https://docs.argilla.io/en/latest/getting_started/installation/deployments/docker-quickstart.html#environment-variables

サーバー用環境変数一覧: https://docs.argilla.io/en/latest/getting_started/installation/configurations/server_configuration.html#environment-variables

  • OWNER_PASSWORD
  • OWNER_API_KEY
  • ADMIN_PASSWORD
  • ADMIN_API_KEY
  • ANNOTATOR_PASSWORD

は任意の秘密な値に変更

  • ARGILLA_DATABASE_URL

はCloud SQLのPostgreSQLへ変更

  • ARGILLA_ENABLE_TELEMETRY は 0

でテレメトリをOFFにする

追加の環境変数もある:
https://docs.argilla.io/en/latest/getting_started/installation/configurations/user_management.html#default-user-for-the-argilla-argilla-server-docker-image
実装元の指定:
https://github.com/argilla-io/argilla/blob/6a706a31ed7d72085dd9fe5b3b33e41703322750/docker/docker-compose.yaml#L22

  • DEFAULT_USER_ENABLED を false

でdefaultで作成されるユーザを作らない(初期化がおそらく必要)

hironowhironow

An error occurred, please try again later

のエラーに遭遇

  • indexが見つからない?
ERROR    ERROR:argilla:NotFoundError(404 error_handler.py:99
2024-03-16 11:13:06.872 JST
                             , 'index_not_found_exception',                     
2024-03-16 11:13:06.872 JST
                             'no such index                                     
2024-03-16 11:13:06.872 JST
                             [rg.c2ff813d-a594-40e0-8a32-abe                    
2024-03-16 11:13:06.872 JST
                             70ed936b2]',                                       
2024-03-16 11:13:06.872 JST
                             rg.c2ff813d-a594-40e0-8a32-abe7                    
2024-03-16 11:13:06.872 JST
                             0ed936b2, index_or_alias)
  • REINDEX_DATASETS を true

にして様子見

hironowhironow

DB周りの内部コード

  • server imageが起動する時に Alembic の migration が走る
  • おそらく rg doc を見るにwrapしたコマンドが存在している
hironowhironow

エラー対応:

  • Cloud Run Second Generation ではelasticsearch8でエラー発生!
    • Cloud Run は Execution environment: Default で設定しておくこと
    • これはopen searchでも変わらなかった
    • 発生するエラーは elasticsearch node.processors の数が多いというもの