OpenAI APIの調査
title: "OpenAI API research"
方針
プロダクトを作りながら学ぶ
計画
- アイデア出し
- 実装
1. アイデア出し
ブレーンストーミングの実施
事例調査
- OpenAI Cookbook
-
ChatGPT Plugins
- ChatGPT plugins
- ChatGPTをサードパーティのアプリケーションと繋げるためのもの
ChatGPT(GPT-4)を用いた案出し
-
インターネット上で得やすいデータは何ですか？
インターネット上で得やすいデータは多岐にわたりますが、以下のようなものが特に一般的です。
-
情報検索: ウェブ検索エンジン（Google、Bing、Yahoo!など）を利用して、さまざまなトピックに関する情報を簡単に得ることができます。
-
ソーシャルメディア: Twitter、Facebook、Instagram、LinkedInなどのソーシャルメディアプラットフォームで、人々の意見や趣味、興味、活動を調べることができます。
-
ニュース記事: ニュースウェブサイトやオンラインメディアで、最新の出来事やトレンドに関する情報を得ることができます。
-
ブログやフォーラム: さまざまな専門分野のブログやフォーラムで、その分野に精通した人々からの意見や情報を得ることができます。
-
ウィキペディア: ウィキペディアや他のオンライン百科事典を利用して、多くのトピックに関する概要や背景情報を得ることができます。
-
データベース: 各種データベース（政府統計、経済データ、科学データなど）を利用して、特定の分野に関する詳細なデータを取得することができます。
-
教育資料: オンライン学習プラットフォーム（Coursera、edX、Khan Academyなど）やオープン教育リソースを利用して、様々な学問分野の知識を得ることができます。
-
動画コンテンツ: YouTubeやVimeoなどの動画共有サイトで、教育、エンターテイメント、技術デモなどの動画コンテンツを視聴することができます。
-
オープンソースソフトウェア: GitHubやGitLabなどのプラットフォームで、オープンソースのソフトウェアやプロジェクトを調べたり、自分で開発に参加することができます。
-
オンラインマーケットプレイス: Amazon、eBay、楽天などのオンラインショップで、商品情報や価格、レビューなどを調べることができます。
-
-
OpenAIのAPIを使用して何ができますか？
OpenAIのAPIを使用することで、多くのタスクを実行できます。APIは、OpenAIが開発した人工知能（AI）モデルを活用し、様々な用途に対応しています。以下に、OpenAIのAPIを使用して実現できるいくつかの一般的なタスクを示します。
-
自然言語処理（NLP）: テキストデータの分析、生成、理解を行うために使用できます。例えば、文章の要約、質問応答、翻訳、感情分析などが可能です。
-
会話エージェント: チャットボットや顧客サポートエージェントなど、ユーザーと自然な会話を行うエージェントを開発することができます。
-
コンテンツ生成: ブログ記事、ニュース記事、ソーシャルメディア投稿、広告コピーなど、さまざまなタイプのテキストコンテンツを生成することができます。
-
データ抽出: テキストデータから情報や知識を抽出し、データベースやスプレッドシートに整理することができます。
-
コード生成: プログラミング言語を使用して、特定のタスクを実行するコードを生成することができます。
-
教育およびトレーニング: 教育資料の作成や、質問に答えることで学習者を支援することができます。
-
ゲーム開発: ゲームのストーリーラインやキャラクターの生成、会話のシナリオ作成など、ゲーム開発に役立つコンテンツを生成することができます。
-
レコメンデーションシステム: ユーザーの好みや行動に基づいて、商品やコンテンツのレコメンデーションを提供することができます。
-
画像認識や生成: 画像データを認識、分類、生成するタスクにもOpenAIのAPIを使用することができます。ただし、これらのタスクは主にOpenAIの画像認識・生成モデルに依存します。
-
テキスト分類: テキストデータをカテゴリーやタグに分類することができます。これにより、コンテンツ管理や情報整理が容易になります。
-
要約と抽象化: 大量のテキストデータから要点を抽出し、簡潔な要約を生成することができます。これは、ニュース記事やレポートの要約に役立ちます。
-
クリエイティブライティング: 小説、詩、劇本などのクリエイティブなテキストコンテンツを生成することができます。
-
パーソナルアシスタント: スケジュール管理、リマインダー設定、タスクリスト作成など、個人の日常タスクを支援するパーソナルアシスタントを開発することができます。
-
自動キュレーション: ウェブサイトやブログのコンテンツを自動的にキュレーションし、関連性の高い情報を提供することができます。
-
スピーチ認識と生成: 音声データをテキストに変換したり、テキストデータを音声に変換することができます。これにより、音声アシスタントやテキスト読み上げシステムを開発できます。
-
センチメント分析: テキストデータから感情や意見を識別し、ポジティブ、ネガティブ、ニュートラルなどのセンチメントスコアを割り当てることができます。
-
テキスト校正: 文法、スペル、句読点などの誤りを検出し、修正案を提案することができます。
-
自動タグ付け: テキストや画像データに適切なタグを自動的に割り当てることができます。
-
イベント検出: ニュース記事やソーシャルメディア投稿から重要なイベントを検出し、それらを関連するカテゴリに分類することができます。
-
これらの例は、OpenAIのAPIが提供する機能の一部です。APIは非常に柔軟であり、開発者は独自のアプリケーションやサービスに応じてカスタ
-
機械学習データの前処理: データセット内のテキストデータをクリーニングや整形することができます。これにより、機械学習モデルの学習効果を向上させることができます。
-
フェイクニュース検出: ニュース記事やソーシャルメディア投稿の信憑性を評価し、フェイクニュースや誤情報を検出することができます。
-
自動スクリプト生成: 映画、テレビ番組、広告などの映像コンテンツのスクリプトを自動的に生成することができます。
-
オンラインモデレーション: オンラインコミュニティやフォーラムでの不適切なコンテンツやユーザー行動を検出し、適切な対処を行うことができます。
-
バーチャルリアリティ（VR）や拡張現実（AR）: VRやARコンテンツの開発において、インタラクティブな会話やシナリオを生成することができます。
-
メタデータ生成: データセットやコンテンツに関連するメタデータを自動的に生成し、検索や分析の効率を向上させることができます。
-
顧客インサイト分析: 顧客フィードバックやレビューからインサイトを抽出し、ビジネス戦略や製品開発に役立てることができます。
-
アイデア生成: 新しいアイデアやコンセプトを生成することができます。これは、プロダクトデザインやマーケティング戦略のブレインストーミングに役立ちます。
-
レシピ生成: 食材や料理の好みに基づいて、オリジナルのレシピを生成することができます。
-
メールフィルタリング: 受信メールを自動的に分類し、重要なメールやスパムメールを判別することができます。
-
オンラインディベート: 複数の立場や視点を代表するAIエージェントを用いて、オンラインディベートを開催することができます。
-
複数言語対応: 複数の言語を理解し、翻訳することができます。これにより、国際的なコミュニケーションやビジネス展開が容易になります。
-
アクセシビリティ向上: 視覚障がい者や聴覚障がい者向けのコンテンツを生成し、アクセシビリティを向上させることができます。例えば、テキストの読み上げや、音声コンテンツの文字起こしなどが可能です。
-
リスク評価: 企業や個人に関する情報を分析し、信用リスクや投資リスクを評価することができます。
-
知的財産管理: 特許、著作権、商標などの知的財産情報を調査し、管理することができます。
これらの例は、OpenAIのAPIが提供する機能や応用範囲を示していますが、APIの柔軟性とカスタマイズ性により、さまざまな業界や分野で活用できます。開発者は独自のアイデアや目的に応じて、APIを組み込んで新しいソリューションを開発できます。その結果、人工知能が日常生活やビジネスでさらに重要な役割を果たすことになるでしょう。
-
-
まだ誰も気づいていないけれどOpenAIのAPIを使うことで解決できる大きな課題は何ですか？
OpenAIのAPIは非常に柔軟性が高く、さまざまな業界や分野で活用されていますが、まだ十分に活用されていない分野や課題も存在します。以下に、OpenAIのAPIを使用して解決できる可能性のある大きな課題をいくつか示します。
-
メンタルヘルスケア: OpenAIのAPIを使用して、精神的な悩みや問題に対処するためのサポートツールやカウンセリングボットを開発することができます。これにより、精神的な支援を必要とする人々に手軽にアクセスできるサービスを提供できます。
-
災害対策と緊急対応: OpenAIのAPIを活用して、災害発生時の情報収集や緊急対応の効率化を図ることができます。例えば、災害情報をリアルタイムで収集・分析し、適切な対応策を提案するシステムを開発することができます。
-
環境保護と持続可能性: 環境問題や持続可能性に関するデータを分析し、問題解決に役立つインサイトを得ることができます。また、持続可能な製品やサービスの開発に関するアイデアを生成することも可能です。
-
貧困削減と社会的格差の縮小: OpenAIのAPIを利用して、貧困や社会的格差に関する情報を収集・分析し、効果的な対策や政策を提案することができます。
-
言語・文化遺産の保存: 絶滅危機に瀕している言語や文化を研究・保存するために、OpenAIのAPIを活用することができます。例えば、希少な言語の翻訳や文化資料のデジタル化に取り組むことができます。
-
医療と健康管理: OpenAIのAPIを使用して、医療データの分析や病気の診断支援、健康管理アプリケーションの開発を行うことができます。これにより、医療現場の効率化や個人の健康管理の向上が期待できます。
-
エネルギー効率の向上: OpenAIのAPIを活用して、エネルギー消費データを分析し、エネルギー効率の改善策を提案することができます。これは、省エネルギー技術の開発や持続可能なエネルギー政策の策定に役立ちます。
-
サイバーセキュリティ: OpenAIのAPIを用いて、セキュリティ脅威やサイバー攻撃の検出・予防を行うシステムを開発することができます。これにより、個人や企業のデータ保護が向上し、サイバーセキュリティのリスクが軽減されます。
-
教育改革: 教育に関するデータを分析し、教育の質やアクセス性を向上させるための改善策を提案することができます。また、個別の学習ニーズに対応したカスタマイズされた教材や教育プログラムを開発することも可能です。
-
都市計画とインフラ整備: OpenAIのAPIを活用して、都市計画やインフラ整備の効率化を図ることができます。例えば、交通データを分析し、交通渋滞の解消策を提案したり、都市計画の最適化を行うことができます。
これらの課題は、OpenAIのAPIを適切に活用すれば、社会的なインパクトを生み出す可能性があります。APIの技術進歩や開発者コミュニティの拡大に伴い、さらに多くの分野でAPIの活用が進むことが期待されます。このような取り組みが積み重なることで、未来の課題や困難にも対処できるようになるでしょう。
-
-
OpenAIのAPIを使用してトラブル対応記録を活用する案として何がありますか？
トラブル対応記録をOpenAIのAPIを使って活用する方法はいくつかあります。以下に、いくつかの案を示します。
-
トラブル解決ナレッジベースの構築: 過去のトラブル対応記録を分析し、トラブル解決のためのナレッジベースを作成します。APIを使用して、自動的に適切な解決策を見つけ出すことができます。
-
トラブル発生時の自動通知: APIを使ってリアルタイムでトラブル情報を監視し、関連するトラブルが検出された場合に、関係者に自動的に通知するシステムを構築します。
-
トラブル分析と予防: 過去のトラブル対応記録を分析し、類似のトラブルが発生する可能性を予測します。その結果を元に、予防策を実施することができます。
-
トラブルシューティングガイドの生成: OpenAIのAPIを使って、トラブル対応記録からトラブルシューティングガイドを自動的に生成します。これにより、新たなトラブル発生時に素早く対処できるようになります。
-
教育・トレーニング資料の作成: トラブル対応記録をもとに、工場スタッフの教育やトレーニングのための資料を生成します。これにより、トラブルへの対応力を向上させることができます。
-
トラブル対応記録のテキストマイニング: OpenAIのAPIを利用して、トラブル対応記録内の隠れたパターンや関連性を発見します。これにより、新たなインサイトや改善点を見つけ出すことができます。
これらの案を実現することで、トラブル対応が効率化されます。スタッフの負担軽減や知識共有の促進にも貢献するでしょう。
-
-
AIやOpenAIのAPIの勉強をしたいと考えています。どのような案がありますか？
個人で入手可能な情報を用いて、AIやOpenAIのAPIを学ぶことができるプロジェクトの案をいくつか提案します。これらの案は、プライベートで取り組むことができ、実践的なスキルを身につけるのに役立ちます。
-
機械学習やAIに関するオープンデータセットの利用: オープンデータセットを使用して、AIやOpenAIのAPIを使ったデータ分析や予測モデルの構築を学びます。例えば、KaggleやUCI Machine Learning Repositoryなどのウェブサイトで、無料で利用できるデータセットが多数公開されています。
-
チャットボットの開発: OpenAIのAPIを使用して、独自のチャットボットを開発します。例えば、特定のトピックに関する質問に答えるチャットボットや、日常会話ができるチャットボットを作成してみましょう。
-
ウェブスクレイピング: ウェブサイトから情報を収集し、OpenAIのAPIを使用してデータを分析・整理するプロジェクトを行います。これにより、データ収集や前処理のスキルを習得できます。
-
ブログ記事の生成: OpenAIのAPIを使って、自動的にブログ記事やニュース記事を生成するシステムを開発します。これにより、自然言語生成（NLG）技術に関する知識を深めることができます。
-
画像認識アプリケーションの開発: OpenAIのAPIを使用して、画像認識を行うアプリケーションを開発します。例えば、写真の中のオブジェクトを識別するアプリや、画像からキャプションを生成するアプリを作成してみましょう。
これらのプロジェクトは、個人で取り組むことができ、プライベートな環境でAIやOpenAIのAPIを学ぶのに適しています。また、オープンソースのリソースやチュートリアルを活用することで、さらに効果的に学習を進めることができます。
-
自分で案出し
-
フォートナイトAI MPC
- フォートナイト上でMPCに記憶機能とAIを実装し、他のMPCやプレーヤーとの会話やオブジェクトとのインタラクションを行うことで、MPCが自分で計画を立て実行するようにする。
-
AI会話日記
- 会話の内容をAIが理解し、日記を付ける。
- 目標を定めておく事で、AIが目標達成のためのサポートをしてくれる。
- 例えばダイエットをしたい場合に会話の中で励ましてくれたり、ダイエットプランを立ててくれたりする。
- 体重を会話の中で記録してくれたり、体重の変化をグラフで表示してくれたりする。
- 過去の会話を記録しておくことができ、その文脈を元に会話してくれる。
-
投資アドバイスAI
- 各社の財務諸表と株価、各種の統計情報やニュースを元に投資のアドバイスをしてくれる。
-
機械学習チャットボット
- Hugging Face, PyTorch, Arxiv, Kaggle, UCI Machine Learning Repository, OpenAI API documentなどのオープンデータセットを利用して、機械学習チャットボットを作成する。
-
AIディベート
- テーマを与えることで2つのAIがディベートを行い、その結果を表示する。
実装するアイデア
-
アイデア
- AIディベート
- テーマを与えることで2つのAIがディベートを行い、その結果を表示する。
- AIディベート
-
選択理由
- 他のアイデアと比べて、実装が比較的簡単であるため。
- 応用性が高く、様々な分野で利用できるため。
2. 実装
アイデアの詳細
- ディベートAIは、ディベートのテーマを受け取り、そのテーマに関する論点を抽出する。
- 抽出した論点に対して、ディベートAIはそれぞれの論点に対する立場を決定する。
- ディベートAIは、論点と立場を元に、ディベートを行う。
- ディベートAIは、ディベートの結果を表示する。
ライブラリを使用せずに実装してみる
import os
from dotenv import load_dotenv
import openai
import logging
class Config(object):
"""設定
Methods:
set_logging: ログ設定
"""
def __init__(self):
self.set_logging()
def set_logging(self):
"""ログ設定
"""
logging.basicConfig(
filename="app.log",
filemode="a",
format="%(asctime)s - %(levelname)s - %(message)s",
level=logging.INFO)
class Utils(object):
"""ユーティリティ
Methods:
get_openai_api_key: 環境変数からOpenAIのAPIキーを取得
"""
def __init__(self):
pass
def get_openai_api_key(self):
"""環境変数からOpenAIのAPIキーを取得
"""
# ファイルの絶対パスを取得
current_directory = os.path.abspath(os.getcwd())
# .envファイルのパスを指定して読み込む
dotenv_path = os.path.join(current_directory, '.env')
load_dotenv(dotenv_path)
# 環境変数からAPIキーを取得
api_key = os.environ.get("OPENAI_API_KEY")
if not api_key:
raise ValueError("OPENAI_API_KEY not found in environment variables")
return api_key
class MakeAgent(object):
"""エージェントの作成
"""
def __init__(self, custom_role, model):
""" エージェントの初期化
Args:
custom_role: カスタムロール
model: モデル
"""
# 設定の読み込み
self.config = Config()
self.utils = Utils()
self.api_key = self.utils.get_openai_api_key()
openai.api_key = self.api_key
# openai.Completion.createの引数を変数に格納
self.model = model
self.max_tokens = 1000
self.n = 1
self.stop = None
self.temperature = 0.5
# メッセージの初期化
self.messages = []
# メッセージを指定
messages = [
{"role": "user", "content": f"Please answer as a {custom_role}"},
]
# ログ記録
logging.info("-----")
logging.info(f"Make agent with custom_role: {custom_role}, model: {model}, messages: {messages}")
self.get_answer(messages)
def get_answer(self, messages):
"""返答の取得
Args:
messages: メッセージ
Returns:
answer: 返答
"""
# メッセージの追加
self.messages += messages
# APIリクエストの設定
response = openai.ChatCompletion.create(
model=self.model,
messages=self.messages,
max_tokens=self.max_tokens,
n=self.n,
stop=self.stop,
temperature=self.temperature,
)
# 返答の取得
response_role= response.choices[0]["message"]["role"]
response_content = response.choices[0]["message"]["content"]
response_message = {"role": response_role, "content": response_content}
answer = response_content
# 返答のログ記録
logging.info(f"messages: {messages}")
logging.info(f"Answer: {answer}")
# 返答の表示
print("messages:", messages)
print("Answer:", answer)
# メッセージの更新
self.messages.append(response_message)
return answer
if __name__ == "__main__":
# エージェント1の作成
professer = MakeAgent("一流大学の教授", "gpt-3.5-turbo")
messages = [
{"role": "user", "content": "宇宙の成り立ちを説明してください。"},
]
professer.get_answer(messages)
# エージェント2の作成
professer = MakeAgent("普通の小学生", "gpt-3.5-turbo")
messages = [
{"role": "user", "content": "宇宙の成り立ちを説明してください。"},
]
professer.get_answer(messages)
出力結果
messages: [{'role': 'user', 'content': 'Please answer as a 一流大学の教授'}]
Answer: まず、ご質問ありがとうございます。私は一流大学の教授として、学術的な視点から回答させていただきます。
この質問に対しては、様々な角度からの回答が考えられますが、私が重要だと考える点をいくつか挙げさせていただきます。
まず、一流大学においては、教育や研究において高い水準を維持することが求められます。そのためには、教員陣には高い専門性が求められることはもちろんのこと、常に最新の知見を習得する姿勢や、教育・研究に対する情熱が必要です。
また、一流大学には、国内外から優秀な学生や研究者が集まってきます。そのため、教員陣は、多様な背景や文化を持つ人々に対して、適切な教育や指導を行うことが求められます。また、国際的な視野を持ち、グローバルな社会に対応できる人材を育成することも、一流大学の使命の一つです。
さらに、一流大学には、社会に貢献することが求められます。そのためには、教育や研究成果を社会に還元することが必要です。例えば、産学連携や地域貢献活動などを通じて、社会課題の解決に貢献することが期待されます。
以上が、私が一流大学において重要だと考える点です。教育や研究に情熱を持ち、多様な人々に対応できる力を持ち、社会に貢献する姿勢を持つことが、一流大学の教員に求められるものであると考えます。
messages: [{'role': 'user', 'content': '宇宙の成り立ちを説明してください。'}]
Answer: 宇宙の成り立ちについては、大きく分けて「ビッグバン説」と「ステディステート説」の2つの説があります。
まず、ビッグバン説によれば、宇宙は約138億年前に一点から始まり、現在のような広がりを持つ宇宙が形成されたとされています。ビッグバンの原因は、まだ完全に解明されていませんが、宇宙全体が非常に高温・高密度の状態にあったと考えられています。そして、この状態から急激に膨張が始まり、現在の宇宙が形成されたとされています。
一方、ステディステート説によれば、宇宙は永遠に存在し、常に同じ状態を維持しているとされています。この説では、宇宙の膨張や収縮は起こらず、常に同じような状態を維持しているとされています。
現在では、ビッグバン説がより支持されており、宇宙の成り立ちについての研究が進められています。ビッグバン説によれば、ビッグバンの後には宇宙の温度が下がり、物質が形成されていきました。最初に形成されたのは水素原子であり、その後にヘリウム原子やリチウム原子などが形成されました。そして、これらの原子が集まって星や銀河が形成されたとされています。
現在の宇宙は、多くの星や銀河が存在する広大な空間であり、宇宙の成り立ちについての研究は、私たちが住む地球や宇宙についての理解を深める上で重要な役割を果たしています。
messages: [{'role': 'user', 'content': 'Please answer as a 普通の小学生'}]
Answer: I'm sorry, as an AI language model, I cannot answer as a 普通の小学生 because I do not have personal experiences or emotions like a real human being. However, I can provide information and assistance based on my programming. Is there anything specific you need help with?
messages: [{'role': 'user', 'content': '宇宙の成り立ちを説明してください。'}]
...
その後、宇宙は冷却され、物質が凝集して星や惑星などが形成されていきました。また、宇宙には暗黒物質や暗黒エネルギーなど、まだ解明されていない謎の要素が存在しています。
以上が、一般的に受け入れられている宇宙の成り立ちの理論です。
- 上手くいかなかった
ライブラリや要素技術を調査する
Embeddings
-
GitHub openai-cookbook/examples/Question_answering_using_embeddings.ipynb
-
通常は次のような情報は利用できません。Embeddingsを使用することでこれらの情報も利用できるようになります。
- 2021年9月以降の最近の出来事
- 非公開の文書
- 過去の会話からの情報
- その他
-
GPTは次の2つの方法で学習できます。
- モデルの重みを介して（つまり、トレーニングセットでモデルをファインチューニングすることによって）
- モデルの入力を介して（つまり、知識を入力メッセージに挿入することによって）
-
ファインチューニングは新しいタスクやスタイルを学ぶのに適していますが、事実の呼び出しのためには向いていません。
-
たとえ話として、モデルの重みは長期記憶のようなものです。モデルをファインチューニングすることは、1週間後の試験勉強に似ています。試験がやってくると、モデルは詳細を忘れたり、読んだことのない事実を誤って覚えたりするかもしれません。それに対して、メッセージの入力は短期記憶のようなものです。メッセージに知識を挿入することは、オープンブックの試験を受けるのと似ています。手元にノートがあると、モデルは正しい答えにたどり着く可能性がより高くなります。
-
テキスト検索の欠点は、各モデルが一度に読み取れる最大量のテキストに制限があることです。
モデル 最大テキスト長 gpt-3.5-turbo 4,096トークン（約5ページ） gpt-4 8,192トークン（約10ページ） gpt-4-32k 32,768トークン（約40ページ） たとえ話を続けると、モデルは本棚から引き出すことができる教科書がたくさんあるにもかかわらず、一度に数ページのノートしか見ることができない学生のようなものと考えることができます。 したがって、大量のテキストから質問に回答するためのシステムを構築するには、Search-Askアプローチを使用することをお勧めします。 -
Embeddingベースで検索することで、モデルは大量のテキストから質問に回答することができます。
-
次の手順でEmbeddingベースで検索できる方法を紹介します。
- 検索データを準備する（1回実施）
- 収集：2022年冬季オリンピックに関する数百のWikipedia記事をダウンロードします
- チャンク：文書は、ほとんどが自己完結型の短いセクションに分割され、埋め込まれます
- 埋め込み：各セクションはOpenAI APIで埋め込まれます
- 保存：埋め込みは保存されます（大規模なデータセットの場合は、ベクターデータベースを使用します）
- 検索（1回クエリごとに実行）
- ユーザーの質問から、OpenAI APIを使用してクエリの埋め込みを生成します。
- 埋め込みを使用して、テキストセクションをクエリに関連性の高い順にランク付けします。
- 質問（1回クエリごとに実行）
- 質問と最も関連性の高いセクションをGPTのメッセージに挿入します。
- GPTの回答を返します。
- 検索データを準備する（1回実施）
-
0. pre-Embeddedデータの作成方法
このリンクの手法でpre-Embeddedデータを作成します
1. 検索データを準備します
pre-Embeddedデータを読み込みます。
# imports
import ast # for converting embeddings saved as strings back to arrays
from dotenv import load_dotenv
import os
import openai # for calling the OpenAI API
import pandas as pd # for storing text and embeddings data
import tiktoken # for counting tokens
from scipy import spatial # for calculating vector similarities for search
# models
EMBEDDING_MODEL = "text-embedding-ada-002"
GPT_MODEL = "gpt-3.5-turbo"
def get_openai_api_key():
"""環境変数からOpenAIのAPIキーを取得
"""
# ファイルの絶対パスを取得
current_directory = os.path.abspath(os.getcwd())
# .envファイルのパスを指定して読み込む
dotenv_path = os.path.join(current_directory, '.env')
load_dotenv(dotenv_path)
# 環境変数からAPIキーを取得
api_key = os.environ.get("OPENAI_API_KEY")
if not api_key:
raise ValueError("OPENAI_API_KEY not found in environment variables")
return api_key
openai.api_key = get_openai_api_key()
# download pre-chunked text and pre-computed embeddings
# this file is ~200 MB, so may take a minute depending on your connection speed
# embeddings_path = "https://cdn.openai.com/API/examples/data/winter_olympics_2022.csv"
# ローカルに保存してから読み込む
# ファイルの絶対パスを取得
current_directory = os.path.abspath(os.getcwd())
# .envファイルのパスを指定して読み込む
embeddings_path = os.path.join(current_directory, 'winter_olympics_2022.csv')
df = pd.read_csv(embeddings_path)
# convert embeddings from CSV str type back to list type
df['embedding'] = df['embedding'].apply(ast.literal_eval)
# the dataframe has two columns: "text" and "embedding"
df
| text | embedding |
|---|---|
| Lviv bid for the 2022 Winter Olympics\n\n{{Oly... | [-0.005021067801862955, 0.00026050032465718687... |
| Lviv bid for the 2022 Winter Olympics\n\n==His... | [0.0033927420154213905, -0.007447326090186834,... |
| ... | ... |
2. Search
次に、以下のような検索関数を定義します。
- ユーザーのクエリとテキストと埋め込み列を持つデータフレームを受け取る
- OpenAI APIを使用して、ユーザーのクエリを埋め込む
- クエリの埋め込みとテキストの埋め込みの距離を使用して、テキストをランク付けする
- 以下の2つのリストを返す：
- 関連性に基づいてランク付けされた上位Nのテキスト
- それらに対応する関連性スコア
# search function
def strings_ranked_by_relatedness(
query: str,
df: pd.DataFrame,
relatedness_fn=lambda x, y: 1 - spatial.distance.cosine(x, y),
top_n: int = 100
) -> tuple[list[str], list[float]]:
"""Returns a list of strings and relatednesses, sorted from most related to least."""
query_embedding_response = openai.Embedding.create(
model=EMBEDDING_MODEL,
input=query,
)
query_embedding = query_embedding_response["data"][0]["embedding"]
strings_and_relatednesses = [
(row["text"], relatedness_fn(query_embedding, row["embedding"]))
for i, row in df.iterrows()
]
strings_and_relatednesses.sort(key=lambda x: x[1], reverse=True)
strings, relatednesses = zip(*strings_and_relatednesses)
return strings[:top_n], relatednesses[:top_n]
# examples
strings, relatednesses = strings_ranked_by_relatedness("curling gold medal", df, top_n=5)
for string, relatedness in zip(strings, relatednesses):
print(f"{relatedness=:.3f}")
display(string)
relatedness=0.879
'Curling at the 2022 Winter Olympics\n\n==Medal summary==\n\n===Medal table===\n\n{{Medals table\n | caption = \n | host = \n | flag_template = flagIOC\n | event = 2022 Winter\n | team = \n | gold_CAN = 0 | silver_CAN = 0 | bronze_CAN = 1\n | gold_ITA = 1 | silver_ITA = 0 | bronze_ITA = 0\n | gold_NOR = 0 | silver_NOR = 1 | bronze_NOR = 0\n | gold_SWE = 1 | silver_SWE = 0 | bronze_SWE = 2\n | gold_GBR = 1 | silver_GBR = 1 | bronze_GBR = 0\n | gold_JPN = 0 | silver_JPN = 1 | bronze_JPN - 0\n}}'
relatedness=0.872
"Curling at the 2022 Winter Olympics\n\n==Results summary==\n\n===Women's tournament===\n\n====Playoffs====\n\n=====Gold medal game=====\n\n''Sunday, 20 February, 9:05''\n{{#lst:Curling at the 2022 Winter Olympics – Women's tournament|GM}}\n{{Player percentages\n| team1 = {{flagIOC|JPN|2022 Winter}}\n| [[Yurika Yoshida]] | 97%\n| [[Yumi Suzuki]] | 82%\n| [[Chinami Yoshida]] | 64%\n| [[Satsuki Fujisawa]] | 69%\n| teampct1 = 78%\n| team2 = {{flagIOC|GBR|2022 Winter}}\n| [[Hailey Duff]] | 90%\n| [[Jennifer Dodds]] | 89%\n| [[Vicky Wright]] | 89%\n| [[Eve Muirhead]] | 88%\n| teampct2 = 89%\n}}"
relatedness=0.869
'Curling at the 2022 Winter Olympics\n\n==Results summary==\n\n===Mixed doubles tournament===\n\n====Playoffs====\n\n=====Gold medal game=====\n\n\'\'Tuesday, 8 February, 20:05\'\'\n{{#lst:Curling at the 2022 Winter Olympics – Mixed doubles tournament|GM}}\n{| class="wikitable"\n!colspan=4 width=400|Player percentages\n|-\n!colspan=2 width=200 style="white-space:nowrap;"| {{flagIOC|ITA|2022 Winter}}\n!colspan=2 width=200 style="white-space:nowrap;"| {{flagIOC|NOR|2022 Winter}}\n|-\n| [[Stefania Constantini]] || 83%\n| [[Kristin Skaslien]] || 70%\n|-\n| [[Amos Mosaner]] || 90%\n| [[Magnus Nedregotten]] || 69%\n|-\n| \'\'\'Total\'\'\' || 87%\n| \'\'\'Total\'\'\' || 69%\n|}'
relatedness=0.868
"Curling at the 2022 Winter Olympics\n\n==Medal summary==\n\n===Medalists===\n\n{| {{MedalistTable|type=Event|columns=1}}\n|-\n|Men<br/>{{DetailsLink|Curling at the 2022 Winter Olympics – Men's tournament}}\n|{{flagIOC|SWE|2022 Winter}}<br>[[Niklas Edin]]<br>[[Oskar Eriksson]]<br>[[Rasmus Wranå]]<br>[[Christoffer Sundgren]]<br>[[Daniel Magnusson (curler)|Daniel Magnusson]]\n|{{flagIOC|GBR|2022 Winter}}<br>[[Bruce Mouat]]<br>[[Grant Hardie]]<br>[[Bobby Lammie]]<br>[[Hammy McMillan Jr.]]<br>[[Ross Whyte]]\n|{{flagIOC|CAN|2022 Winter}}<br>[[Brad Gushue]]<br>[[Mark Nichols (curler)|Mark Nichols]]<br>[[Brett Gallant]]<br>[[Geoff Walker (curler)|Geoff Walker]]<br>[[Marc Kennedy]]\n|-\n|Women<br/>{{DetailsLink|Curling at the 2022 Winter Olympics – Women's tournament}}\n|{{flagIOC|GBR|2022 Winter}}<br>[[Eve Muirhead]]<br>[[Vicky Wright]]<br>[[Jennifer Dodds]]<br>[[Hailey Duff]]<br>[[Mili Smith]]\n|{{flagIOC|JPN|2022 Winter}}<br>[[Satsuki Fujisawa]]<br>[[Chinami Yoshida]]<br>[[Yumi Suzuki]]<br>[[Yurika Yoshida]]<br>[[Kotomi Ishizaki]]\n|{{flagIOC|SWE|2022 Winter}}<br>[[Anna Hasselborg]]<br>[[Sara McManus]]<br>[[Agnes Knochenhauer]]<br>[[Sofia Mabergs]]<br>[[Johanna Heldin]]\n|-\n|Mixed doubles<br/>{{DetailsLink|Curling at the 2022 Winter Olympics – Mixed doubles tournament}}\n|{{flagIOC|ITA|2022 Winter}}<br>[[Stefania Constantini]]<br>[[Amos Mosaner]]\n|{{flagIOC|NOR|2022 Winter}}<br>[[Kristin Skaslien]]<br>[[Magnus Nedregotten]]\n|{{flagIOC|SWE|2022 Winter}}<br>[[Almida de Val]]<br>[[Oskar Eriksson]]\n|}"
relatedness=0.867
"Curling at the 2022 Winter Olympics\n\n==Results summary==\n\n===Men's tournament===\n\n====Playoffs====\n\n=====Gold medal game=====\n\n''Saturday, 19 February, 14:50''\n{{#lst:Curling at the 2022 Winter Olympics – Men's tournament|GM}}\n{{Player percentages\n| team1 = {{flagIOC|GBR|2022 Winter}}\n| [[Hammy McMillan Jr.]] | 95%\n| [[Bobby Lammie]] | 80%\n| [[Grant Hardie]] | 94%\n| [[Bruce Mouat]] | 89%\n| teampct1 = 90%\n| team2 = {{flagIOC|SWE|2022 Winter}}\n| [[Christoffer Sundgren]] | 99%\n| [[Rasmus Wranå]] | 95%\n| [[Oskar Eriksson]] | 93%\n| [[Niklas Edin]] | 87%\n| teampct2 = 94%\n}}"
上記の検索関数を使用することで、関連する知識を自動的に取得し、GPTのメッセージに挿入することができるようになりました。
3. Ask
以下のように、askという関数を定義します。
- ユーザーのクエリを受け取る
- クエリに関連するテキストを検索する
- そのテキストをGPTのメッセージに挿入する
- GPTにメッセージを送信する
- GPTの回答を返す
def num_tokens(text: str, model: str = GPT_MODEL) -> int:
"""Return the number of tokens in a string."""
encoding = tiktoken.encoding_for_model(model)
return len(encoding.encode(text))
def query_message(
query: str,
df: pd.DataFrame,
model: str,
token_budget: int
) -> str:
"""Return a message for GPT, with relevant source texts pulled from a dataframe."""
strings, relatednesses = strings_ranked_by_relatedness(query, df)
introduction = 'Use the below articles on the 2022 Winter Olympics to answer the subsequent question. If the answer cannot be found in the articles, write "I could not find an answer."'
question = f"\n\nQuestion: {query}"
message = introduction
for string in strings:
next_article = f'\n\nWikipedia article section:\n"""\n{string}\n"""'
if (
num_tokens(message + next_article + question, model=model)
> token_budget
):
break
else:
message += next_article
return message + question
def ask(
query: str,
df: pd.DataFrame = df,
model: str = GPT_MODEL,
token_budget: int = 4096 - 500,
print_message: bool = False,
) -> str:
"""Answers a query using GPT and a dataframe of relevant texts and embeddings."""
message = query_message(query, df, model=model, token_budget=token_budget)
if print_message:
print(message)
messages = [
{"role": "system", "content": "You answer questions about the 2022 Winter Olympics."},
{"role": "user", "content": message},
]
response = openai.ChatCompletion.create(
model=model,
messages=messages,
temperature=0
)
response_message = response["choices"][0]["message"]["content"]
return response_message
Example questions
カーリングの金メダルを獲得した選手を聞いてみます。
ask('Which athletes won the gold medal in curling at the 2022 Winter Olympics?')
回答
"There were two gold medal-winning teams in curling at the 2022 Winter Olympics: the Swedish men's team consisting of Niklas Edin, Oskar Eriksson, Rasmus Wranå, Christoffer Sundgren, and Daniel Magnusson, and the British women's team consisting of Eve Muirhead, Vicky Wright, Jennifer Dodds, Hailey Duff, and Mili Smith."
2022年以降のデータも扱えるようになりました。しかし、この回答は一部間違っています。これはGPT-4にすることで解決します。ただし、GPT-4は現在のところ、限定公開のモデルであるため使用できません。GPT-4を使用することで、より正確な回答を得ることができます。
Discussion