gpt-4oを試す

!pip install --upgrade openai --quiet

!pip freeze | grep openai

from google.colab import userdata
import os

os.environ["OPENAI_API_KEY"] = userdata.get('OPENAI_API_KEY')

from openai import OpenAI 


def completion(client, model, query):
    completion = client.chat.completions.create(
        model=model,
        messages=[
            {
               "role": "system",
                "content": "あなたは親切なアシスタントです。数学の宿題を手伝うのがあなたの仕事です。"
            },
            {
                "role": "user",
                "content": query
            }
        ],
        temperature=0.1,
    )
    return completion.choices[0].message.content

client = OpenAI()

query = "こんにちは！２たす２を解ける？"

# gpt-4o-2024-05-13(gpt-4o)
%time print(completion(client, "gpt-4o-2024-05-13", query))

# gpt-4-0125-preview(gpt-4-turbo-preview)
%time print(completion(client, "gpt-4-0125-preview", query))

# gpt-4-1106-preview	
%time print(completion(client, "gpt-4-1106-preview", query))

# gpt-4-0613(gpt-4)
%time print(completion(client, "gpt-4-0613", query))

# gpt-3.5-turbo-0125(gpt-3.5-turbo)
%time print(completion(client, "gpt-3.5-turbo-0125", query))

# gpt-3.5-turbo-1106	
%time print(completion(client, "gpt-3.5-turbo-1106", query))

# gpt-3.5-turbo-0613
%time print(completion(client, "gpt-3.5-turbo-0613", query))

from IPython.display import Image, display, Audio, Markdown
import base64

IMAGE_PATH = "triangle.png"

display(Image(IMAGE_PATH))

%%time
def encode_image(image_path):
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode("utf-8")

base64_image = encode_image(IMAGE_PATH)

response = client.chat.completions.create(
    model="gpt-4o-2024-05-13",
    messages=[
        {
            "role": "system",
            "content": (
                "あなたは親切なアシスタントです。数学の宿題を手伝うのがあなたの仕事です。\n"
                "数式を出力する場合は、KaTexを使用して記述してください。\n"
                "数式を出力する場合は、数式の前後を$$で囲んで、さらにその前後に空白行をいれてください。\n"
            )
        },
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "三角形の面積は？"
                },
                {
                    "type": "image_url",
                    "image_url": {
                        "url": f"data:image/png;base64,{base64_image}"
                    }
                }
            ]
        }
    ],
    temperature=0.0,
)

print(response.choices[0].message.content)

(snip)
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "三角形の面積は？"
                },
                {
                    "type": "image_url",
                    "image_url": {
                        "url": "https://upload.wikimedia.org/wikipedia/commons/e/e2/The_Algebra_of_Mohammed_Ben_Musa_-_page_82b.png"
                    }
                }
            ]
        }
(snip)

!ffmpeg -version

!pip install opencv-python --quiet
!pip install moviepy --quiet

import cv2
from moviepy.editor import VideoFileClip
import time
import base64


def process_video(video_path, seconds_per_frame=2):
    base64Frames = []
    base_video_path, _ = os.path.splitext(video_path)

    video = cv2.VideoCapture(video_path)
    total_frames = int(video.get(cv2.CAP_PROP_FRAME_COUNT))
    fps = video.get(cv2.CAP_PROP_FPS)
    frames_to_skip = int(fps * seconds_per_frame)
    curr_frame=0

    # ビデオをループし、指定したサンプリングレートでフレームを抽出する
    while curr_frame < total_frames - 1:
        video.set(cv2.CAP_PROP_POS_FRAMES, curr_frame)
        success, frame = video.read()
        if not success:
            break
        _, buffer = cv2.imencode(".jpg", frame)
        base64Frames.append(base64.b64encode(buffer).decode("utf-8"))
        curr_frame += frames_to_skip
    video.release()

    # ビデオからオーディオを抽出する
    audio_path = f"{base_video_path}.mp3"
    clip = VideoFileClip(video_path)
    clip.audio.write_audiofile(audio_path, bitrate="32k")
    clip.audio.close()
    clip.close()

    print(f"Extracted {len(base64Frames)} frames")
    print(f"Extracted audio to {audio_path}")
    return base64Frames, audio_path

VIDEO_PATH = "sample.mp4"

# 毎秒1フレームを抽出する。seconds_per_frame`パラメータを調整してサンプリングレートを変更できる。
base64Frames, audio_path = process_video(VIDEO_PATH, seconds_per_frame=1)

display_handle = display(None, display_id=True)

for img in base64Frames:
    display_handle.update(Image(data=base64.b64decode(img.encode("utf-8")), width=600))
    time.sleep(0.1)

Audio(audio_path)

response = client.chat.completions.create(
    model="gpt-4o-2024-05-13",
    messages=[
        {
            "role": "system",
            "content": "あなたは動画の要約を作成するアシスタントです。提供された動画を元に要約を生成してください。回答はMarkdownで出力してください。"
        },
        {
            "role": "user",
            "content": [
                "これらは動画のフレームです。",
                *map(lambda x:
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": f'data:image/jpg;base64,{x}',
                            "detail": "low"
                        }
                    },
                    base64Frames
                )
            ],
        }
    ],
    temperature=0,
)
print(response.choices[0].message.content)

transcription = client.audio.transcriptions.create(
    model="whisper-1",
    file=open(audio_path, "rb"),
)
print("テキスト: ", transcription.text + "\n\n")

response = client.chat.completions.create(
    model="gpt-4o-2024-05-13",
    messages=[
        {
            "role": "system",
            "content": "あなたは文字起こしの要約を作成するアシスタントです。提供された文字起こしのテキストを元に要約を生成してください。要約はMarkdownで出力してください。"
        },
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": f"音声文字起こしの内容: {transcription.text}"
                }
            ],
        }
    ],
    temperature=0,
)
print(response.choices[0].message.content)

## Generate a summary with visual and audio
response = client.chat.completions.create(
    model="gpt-4o-2024-05-13",
    messages=[
        {
            "role": "system",
            "content": "あなたは動画の要約を作成するアシスタントです。提供された動画と音声文字起こしを元に要約を生成してください。回答はMarkdownで出力してください。"
        },
        {
            "role": "user",
            "content": [
                "これらは動画のフレームです。",
                *map(lambda x:
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": f'data:image/jpg;base64,{x}',
                            "detail": "low"
                        }
                    },
                    base64Frames
                ),
                {
                    "type": "text",
                    "text": f"音声文字起こしの内容: {transcription.text}"
                }
            ],
        }
    ],
    temperature=0,
)
print(response.choices[0].message.content)

!pip install tiktoken

!pip freeze | grep tiktoken

import tiktoken

enc = tiktoken.encoding_for_model("gpt-4o")

text="""\
メロスは激怒した。必ず、かの邪知暴虐の王を除かなければならぬと決意した。メロスには政治がわからぬ。メロスは、村の牧人である。笛を吹き、羊と遊んで暮らしてきた。けれども邪悪に対しては、人一倍に敏感であった。今日未明、メロスは村を出発し、野を越え山越え、十里離れたこのシラクスの町にやって来た。メロスには父も、母もない。女房もない。十六の、内気な妹と二人暮らしだ。この妹は、村のある律儀な一牧人を、近々花婿として迎えることになっていた。結婚式も間近なのである。メロスは、それゆえ、花嫁の衣装やら祝宴のごちそうやらを買いに、はるばる町にやって来たのだ。まず、その品々を買い集め、それから都の大路をぶらぶら歩いた。メロスには竹馬の友があった。セリヌンティウスである。今はこのシラクスの町で、石工をしている。その友を、これから訪ねてみるつもりなのだ。久しく会わなかったのだから、訪ねていくのが楽しみである。
(snip)
　花婿はもみ手して、照れていた。メロスは笑って村人たちにも会釈して、宴席から立ち去り、羊小屋に潜り込んで、死んだように深く眠った。\
"""

tokens = enc.encode(text)
print(len(tokens))