Advanced Data Analysis（旧ChatGPT Code Interpreter）の活用方法を片っ端から試していく
ChatGPT Code Interpreterをとにかく触ってみる
「Code Interpreterが凄い！」と、みんなが騒いでいるのでとりあえずネットで目についた活用方法を片っ端から試していきたいと思います。
試したら追記していきます。
Code Interpreterのセットアップ
以下3ステップです。簡単ですね。よく分からなかったら別のサイトみてください。
- ChatGPT Plusに課金
- Setting Beta featuresでCode interpreterのトグルをオン
- ChatGPTのGPT4でCode Interpreterを選択
以下参考のスクリーンショットです。
Code Interpreterの活用例
ここから活用例を載せていきます。解説、実際の会話履歴の共有、参考サイトの順番で載せていきます。
QRコード生成
解説
アートなQRコードを生成してと、画像と一緒に無茶振りしたらこんなんができちゃいました。天才過ぎます。もしくは既に人間はAIにおちょくられている。
会話履歴
参考情報
長期記憶方法
解説
会話の長期記憶ができるようです。ファイルを書き出して、別の会話で使用することも可能とのこと。
これは、実際には試していません。
会話履歴
省略
参考情報
グラフ作成
解説
「ハート型のグラフを描いて」で一瞬で生成してくれました。
「通常、パラメトリック方程式を用いて描きます。」という解説に「まあ、お前は知らないだろうけどな」という無言のAIの圧力を感じました。はい、もちろん知らなかったです（勉強になりました）。
会話履歴
参考情報
絵を描く
解説
一応絵も描けます。Pythonのmatplotlibで描くか、SVGを使えば描けますね。
「PythonでXXX描いて」とか「SVGでXXX描いて」とお願いするだけです。ただ、普通（？）にStable Diffusionとか使ったほうがよいですね。
Pythonで描いた初音ミク
SVG形式で描いた初音ミク
会話履歴
参考情報
無し
スライド作成
解説
スライドも作れます。まあそりゃ作れますよねという感じですので省略。
会話履歴
省略
参考情報
当直表
解説
この使い方は良さそうです。助かる人、多いのじゃないかと思います。まだ実践はできていません。
会話履歴
省略
参考情報
データ分析・可視化
解説
これも良さそうですね。データ分析・可視化、地味ですし、孤独な作業になりがちですが、会話しながらデータ分析することができます。
日本語の入ったcsvとか表示させるようとすると、日本語が使えないのが地味にストレスですね。japanize-matplotlib入れさせて欲しいですね。
センサデータの可視化を試してみました。
会話履歴
使用したデータは以下です。
参考情報
グラフに日本語を使う
日本語を使うことも可能です。
フォントをアップロードする方法
japanize-matplotlibを使う方法
自然言語処理（テキストファイル処理）
文字起こしした文章の修正をさせてみました。テキストファイルアップロードしたのですが、ファイルの容量が大きすぎると、ファイルの中身を勝手に書き換えてしまいうまくいきませんでした。
また、トークンの制限を意識して少ない文字数のファイルをアップロードしても、ChatGPTでできたような文章の修正はできませんでした。恐らくコード実行に特化しているため、無理やりPythonのコードで処理しようとしてしまうためのようです。
長文の文章の修正の場合は、素直にOpenAIのAPIを使って、分割スクリプトを自分で書いたほうが良さそうですね。参考情報のリンクを参照ください。
同様に、現状は文章の要約もCode Interpreterはうまくできないですね。
会話履歴
参考情報
音声ファイル処理
文字起こしは無理でした。ただ、ファイルの簡単な処理はできます。
たとえば、最初の10秒を切り出すとかはできました。
会話履歴
参考情報
画像処理
OpenCV入っているので、簡単な画像処理もお手のものですね。画像のモノクロ化の例です。
ただし、特殊な操作は結構指示が難しそうです。ネットにも繋がらないので、特殊なライブラリが必要なもの、特定のAIモデルが必要な処理は現状難しいですね。
会話履歴
参考情報
特に無し
画像認識（マルチモーダル）
画像を認識できる（マルチモーダルなのでは？）という噂あったのですが、恐らくマルチモーダルではないと思います。ファイル名から、適当に推測しているだけのようです。たまたま一部が当たると、画像を認識しているかのように錯覚してしまうのが恐ろしいところですね。
karaage.jpgというファイル名で読み込ませた場合
lemon.jpgというファイル名で読み込ませた場合
会話履歴
参考情報
特に無し
顔検出
会話履歴
参考情報
特に無し
地図の可視化
解説
私自身は試せていませんが、地図の可視化もできています。簡単な地名当てゲームも作ったりできて楽しいですね。
会話履歴
ぴっかりんさんの会話履歴です
参考情報
まとめ
ChatGPT Code Interpreterめっちゃ便利ですね。色々触ってみて分かったのは、コード生成に特化したモデルになっているよう（生成するだけでなく、何度も自分でリトライしてコード修正したりしているっぽい）なのと、ファイルのアップロード、ダウンロード、コード実行までできるので相当便利ということですね。イメージ的にはGoogle Colabのコードを勝手に作って実行してくれる感じです。なにそれ怖い。
非エンジニア向けのコーディングの壁を大きく取り除いていますし、エンジニアにとっても凄い楽ですね。駄目になりそうなくらい楽です。
今のところの制約は、ネットに接続できないところと、どうもCode Interpreterはコード生成に特化しているので、Chat GPTが得意としていたような超絶自然言語処理（要約、文章の修正）ができないところでしょうか。
それこそOpenAI APIが使えればよいのですが、ネットに接続できないのでそれもできないです。ただ、近いうち（数ヶ月レベル）にその制約も取り払われて、より一段階便利になるのじゃないかなと思います。
さらに便利になったらどうなっちゃうんでしょうね。
参考リンク
GPT4が計算に弱いということを指摘したレポート
関連記事
変更履歴
- 2023/07/11 画像認識、グラフの日本語表示に関して追記
Discussion