TruBricksを使ったユーザーフィードバック機能のデモを試してみる
kun432
Trubrics enables AI teams to collect, analyse and manage user feedback on their models.
Streamlitのブログで知った
We build tools to help data scientists collect user feedback on machine learning (ML). We've developed a new component that enables you to do just that with a few lines of code in your Streamlit app!
kun432
とりあえずシンプルに試すだけなら、
- プラットフォームでアカウント作成
- 用意されているデモ用LLMアプリを立ち上げて使う
で良いみたい。機能的なところを確認してみたいので少し試してみる。
https://trubrics.streamlit.app/ でアカウント作成する。ってかこれもStreamlitで書いてあるっぽいな。
アカウントができたらログインする。
デフォルトではdefaultというフィードバック用のコンポーネントが用意されている。下に表示されているようなコードを自分で作成したLLMアプリに組み込めば、ユーザフィードバックがこの画面で確認できる、ということの様子。
では次にデモ用LLMアプリを立ち上げてみる。こちらもStreamlit。
https://trubrics-llm-example.streamlit.app/ にアクセス。先程のアカウントのメアド・パスワードを入力して、適当な質問を投げてみる。
間違ってるのはLLM側の情報が古いので当然。で、フィードバックを投げてみる。👎 をクリック。
フリーフォームで入力することもできる様子。適当に入れてみた。
デモだからだと思うけど、送信されたフィードバック情報が表示されている模様。
で、プラットフォーム側の管理画面にアクセスして、左の"insights"をクリックしてみると、フィードバックの情報が確認できる。
入力されたコメントも。
あと、このフィードバックをissueとして管理する機能もあるようだが、そこは割愛。
kun432
ソースコードをざっと見た感じ、https://github.com/trubrics/trubrics-sdk/tree/main/trubrics/trubrics_platform がプラットフォーム側のStreamlitアプリのコードに見える。
あと、以下を見る限り、FireBaseを使っているようなので、FireBase側でDBを作成して~/.trubrics_config.jsonをそれに合わせて設定すれば、もしかすると自社で管理画面部分を構築するということもできそう。
あと、StreamlitだけじゃなくてPython用のSDKもある
kun432まとめ
OSSなのかなー？そうじゃなければプラットフォームで利用料取るような形になりそう。
でも現時点ではプラットフォームのコードは公開されてるように見えるので自社内とかでもできそうだし、StreamlitやPython-SDKの組み込みも比較的簡単そうに思える。
認証とかはかなりゆるい感じに見えるので、そのへんは今後の改善に期待するとして、お手軽にユーザーフィードバック機能を管理画面含めて実現できるのは良さげ。