はじめに
卒業研究のスケールファインチューニングした BERT と GPT-4o を用いた相談・助言形式動画の自動切り抜きシステムのご紹介をします。
プログラム
プログラムをcolaboで公開しています.
kirinukiというファイルに, speech-to-text APIのkey用のjsonファイルを入れてください. また, 各APIのkeyは各自お持ちのkeyをご利用ください.
※コラボPro環境でA100のGPUを使わないと実行できません.
使い方
切り抜きTransfomer.ipynbを開きます. そして, ご持参のOpenAI APIのKeyとSpeech-to-text APIの認証用のjsonファイルのディレクトリを以下の変数に各自合わせてください.
次に, ディレクトリ移動セルで, 自分のドライブにマウントしてください.
上から順番に, installセル->必要なライブラリとモジュールのインポート->データベースシステムセルの順番に実行していきます.すると, データベース利用するコマンドラインが出てきます.
メニューが出たら, 選択肢から「選択肢を入力してください」の右にある, テキストボックスに操作したい番号を入力します. 入力の場合は,1を入れます.これによって, 一度切り抜きにした動画を二度切り抜く間違いが発生しないようになっています.では, 1を入力します.
そして, 入力のテキストボックスに, 切り抜きたい動画のURLを入力します. 最後に, 後続のコードセルを上から順に全て実行していきます. すると, 相談・助言部分のみの切り抜き動画clipped_output.mp4がkirinukiファイル内に自動で生成されます.
このようになれば成功です.
終わりに
システムの使い方の説明でした。ここまで読んでくださりありがとうございました。
Discussion