【失業します】Open InterpreterでYouTubeのコメントについて解析してもらった

OpenAIの進化は止まりませんね。Open Interpreterというヤバいものが出てきました。
日本語で指示するだけで、データを読み込み・解釈をしてくれる技術です。

この技術の凄さを解説するために、株式会社piponで運営している「患者さん体験記」というYouTubeチャンネルの大腸がんの体験記の動画に集まったコメントを解析してもらいました。
https://www.youtube.com/watch?v=1RWFAZDRn58&t=14s

こちらの動画からYouTubeのAPIを叩き、以下の画像のように誰が、どのようなコメントを何時何分にして、それに幾つ「いいね」がついたかを抽出しました。

このデータをOpen Interpreterに解析してもらいます。

まずはpipでインストールします。

!pip install open-interpreter

interpreterをimportし、以下のコードで実行します。

import interpreter

# Paste your OpenAI API key below.
interpreter.api_key = "your_openai_api_key"
interpreter.auto_run = True
interpreter.chat("Please print hello world.")

成功すると画像のようにHello Worldが返されます。

まずは日本語を使えることを確認しましょう！

interpreter.chat()

上記を実行し、「日本語」と打ち込むとそれ以降日本語で回答してくれるようになります。

その後はデータを読み込んで解析をしてもらうためのプロンプトを作成します。
今回作成したプロンプトはこちらです。

【プロンプト】
df_comments = pd.read_csv('daicho_gan_comment.csv')

## タスク: YouTubeのコメントの解析と解析レポート作成

### **背景** *
大腸がんの体験記をアニメーションで伝えるYouTube動画に多くのコメントが来ています。
そのコメントを
* 解析の目的は、この動画を見てくれている視聴者が何を求めていて、今後どのような動画を作成すれば良いかを導くことです。

###
**手順**
1. コメントの内容を読み込む
2. コメントの内容を分析する方法としては、TF-IDFでベクトル化した後、クラスターに分類してください。
3. 適切なクラスターに分類して、カウントしてください。ex.喜怒哀楽の感情分類など
4. 解析レポートの構成を考える。
5. どんな解析であれば、有用なのかを検討する。
6. コメントを解釈して、考察する。
7. コメントの解釈の結果と考察をまとめる。
8. 考察を踏まえて、分析の結論部分を作成する。

### **注意点**
* 各セクションには考察を必ず含める。
* 文章は読者の興味や理解を深めるように書く。
* 総括のセクションでは、このYouTube動画に求められていたことと、今後どのような動画を企画すれば良いかを作成すること

驚くことに、前処理から、ストップワーズの設定、TF-IDFの適用まで全てを実行してくれました。

ほとんどがクラスター2に分類されてしまい、微妙なクラスターになってしまいましたね。

ただ、そのクラスターでも各クラスターの分類を解釈してくれました。

これでも解釈をしてくれてレポートを作成してくれました。

以上のようにプロンプトを作成することで、データサイエンティストが行なっていたコードを日本語で生成して、解釈までしてくれました。これが本格的に普及してさらに解釈力が上がってしまえば、我々の仕事ははお役御免の世の中になりますね★彡

なんて、少し自虐的に書きましたが、結局データを使って、これをしたい・あれをしたいと考えられる人にとっては、むしろプラスの技術です！

データサイエンティストの仕事は前処理が8割などと言われて、あまり価値を埋めていない作業の部分に多くの時間が割かれていました。

でも、こういったAIが浸透することで、データサイエンティストも価値の出せていなかった時間が減り、データサイエンティストの価値がもっともっと見直されるようになると思います。

そして、プロンプトの作成ですが、これは全体の分析の流れをイメージしてないと作れません。
なので、これからのデータサイエンティストはコードは書かなくなるかもしれませんが、技術への理解と工程については正しく理解して、言語化する必要があります。(実際何度もプロンプトを書き直してこのアウトプットになっています)

このような技術を恐れず、むしろ迎えるマインドで仕事をしていきたいですね^^

技術でお困りのことがある方はオンライン相談が可能です。
こちらから会社概要資料をDLできます！
お問い合わせ内容に「オンライン相談希望」とご記載ください。
https://share.hsforms.com/19XNce4U5TZuPebGH_BB9Igegfgt

株式会社piponでは定期的に技術勉強会を開催しています。
ChatGPT・AI・データサイエンスについてご興味がある方は是非、ご参加ください。
https://chatgptllm.connpass.com/

株式会社piponではChatGPT・AI・データサイエンスについて業界ごとの事例を紹介しています。ご興味ある方はこちらのオウンドメディアをご覧ください。
https://bigdata-tools.com/