Open5

Docker

NistaNista

Docker+streamlit + AWS で会社リソースを参照できるセキュアで軽量なchatアプリを作る

進捗

  • streamlitで実装したWEBアプリケーションをECR経由でデプロイする。
  • 環境変数を安全に管理する。
  • Amazon Elasticsearchで検索した結果を渡して推論できるようにLangChainを改造する。
  • チャットのログや返答のフィードバックをS3に保管する。
  • MLOpsに必要な諸々の処理をつける。CICD.デプロイの自動化etc...
NistaNista
NistaNista

distrolesscは本番向けじゃないらしい。。。。
https://github.com/GoogleContainerTools/distroless
The following images are also published on gcr.io, but are considered experimental and not recommended for production usage: ...
今回は内部向けのサービスだったため踏み切ったが、外部向けに展開するサービスには向いていないかも
今回のサービスはパッケージも少なめだったが、複雑なサービスになったときに動作がどこまで保証されるか未検証