WeaveのQuickstartを試してみる

LLMの評価やトレーシングについて調べていたところ、データの可視化や探索的操作を行う Weave というライブラリがあることを知ったので、QuickStartを試してみる。

https://www.youtube.com/watch?v=vKlsrk1DOtk

https://github.com/wandb/weave

Colaboratoryで。

weaveのインストール、もしかするとカーネルの再起動が必要かも。

!pip install weave

まずは、irisデータセットを使ってpandasで表示してみる。

from sklearn.datasets import load_iris

iris = load_iris(as_frame=True)
df = iris.data.assign(target=iris.target_names[iris.target])

df

ここからはColaboratory標準の機能で何ができるかを見てみる。

インタラクティブテーブルで表示

グラフを表示

どれかのグラフをクリックすると、コードが出力され新しいセルに追加できる

追加されたセルをすこし修正してみた。

Colaboratoryでできるのはこんな感じ。

では次にWeaveを使ってみる。

import weave

weave.show(df)

各セルの操作

パネルの追加は「＋」から。

追加されたパネルの上のところに左のget("local-artifact:///obj:XXXXXXXXXXX/obj")をコピペしてENTERすると左と同じものが表示される

Tableのところをクリックするといくつか選択肢が現れるのでPlotを選択してみる

散布図が作成された。

任意のプロットにカーソルを合わせるとそのデータが見れたり

範囲指定して拡大できたりする

さらにパネルを追加してみる。ここで表示を切り替える用になってる様子。

別タブで開くことができる。

ただし別タブで開いても単に画面が広くなっただけで、何も変わらない。

そこでWeave Dashboardに変換する。

Weave Dashboardではパネルの大きさ、配置の変更ができたり、また変数を定義して使えるようになるらしい（変数については自分で追加して使ういい感じのやり方が分からなかった。）

これが

こうなる。

で、これを保存しておいてあとでまた見たり変更したり、というのをやりたいのだけど、わからない。

With Weave, you can configure your exploration into dashboards, which you can then share with others. Note to publish to Weights and Biases, you will want to authenticate your local machine by executing wandb init in a terminal or wandb.init() in a notebook, then restart your notebook!

https://github.com/wandb/weave/blob/master/docs/QUICKSTART.md

とあるので、Weights & Biases上のダッシュボードにプッシュするっていう形なのかな。