radikoに届け! ラジオ切り抜き動画自動制作システムの提案_7/27更新
はじめに
皆さん初めまして、ラジオを愛する情報系大学院生です。学部生の頃は大学生らしい青春を捨てて、深夜１時まで大学自習室でプログラミングに没頭して、オールナイトニッポンを聴きながら帰宅する生活をしていたほど、プログラミングとラジオに全てを捧げた生活を送っていました。（僕の青春は24時間自習室と深夜ラジオです）（詳細）
そんな私の青春そのものであるラジオそしてラジオ業界の救世主となるシステムを開発しましたので、紹介したいと思います！
”ラジオ”の存在意義とは
昨年の夏、都内での就職活動の帰りに、人生で初めて電車で『有楽町駅』を通りかかり、ニッポン放送がある「有楽町」に自分がいることに感激してしまい、改札を出てニッポン放送に立ち寄ってしまいました！（守衛さん、写真撮っていただいてありがとうございました🙇）。
あまりの興奮から、帰りの新幹線で「ラジオの存在意義」について自分なりに考えてみました。第１に、災害時に正確な情報を取得できる点はもちろんのことですが、それに加えて、ラジオにはラジオ特有のコミュニティが存在して、そのコミュニティに救われる人がいることはリスナーからすれば確かなことだと思います。私自身もコロナ期間や研究が行き詰まっている時といった、どうしようもないような最悪な日があったとしても、いつもの流れでとりあえずラジオを流して、パーソナリティのトークやリスナーとの掛け合いを聴いて少しでも笑えたことによって、心が救われたことが何度もありました。
このような経験から、「ラジオの存在意義」は、非常時に役立つ情報媒体としての側面だけでなく、日常的な生活の支えとしても大きな意味を持つ。つまり「生き抜く」と「息抜く」を兼ね備えた情報媒体なのではないでしょうか。
2023年8月、日本民間放送連盟・研究所から公開されたラジオの特性・広告効果に関する研究・調査報告においても、ラジオ特性評価として、「生活密着情報(災害時含む)」の次に「独自性」に関わる項目が挙げられていることが確認できます。この「独自性」とは「ほかのメディアでは取り上げない独自の情報やコンテンツを期待する」と「ほかのメディアの裏話や、ほかのメディアでは言えない本音トークを期待する」の２つの項目を示し、ラジオの「息抜き」としての側面が評価されていると考えられます。
ラジオの特性・広告効果に関する研究（ラジオ特性評価）
このような結果から、ラジオを聴く習慣がない層に対して、ラジオの息抜きとしての側面の認知度を向上させることが、『メディア超多様化時代におけるラジオ復権大作戦！』 の鍵になると考え、今回提案するシステムを考えました。
自動切り抜き動画制作システム
このシステムではラジオ番組の音声の一部を切り取り、字幕をつけた動画を自動的に制作することができます。
システム自体は全てpythonで実装しました。
下記にシステム概要と動作の流れを示します。
システム概要
動作の流れ
- radikoデータを集計して目的に応じた番組(各年代層で人気の番組など)の番組IDと時間情報（どの部分を切り取るか）を取得する
- 番組IDをキーとして動画のベースとなる画像と番組音源を取得して、番組音源は時間情報をもとに動画で使用する一部分を抽出する
- 抽出音源を音声認識モデルであるWhisperの入力として、字幕情報(.srtファイル)を取得する
- ChatGPT-APIを用いて字幕情報をもとにその番組が見たくなるような見出しを生成する
- 字幕情報を参照して、字幕を切り替える回数分ベースとなる画像を複製して、各画像に対して字幕と見出しを埋め込む
- 字幕が埋め込まれた各画像を、字幕情報のタイムコードをもとに順に表示するようにして、抽出音源を追加して動画が完成する
動作結果
2021年11月15日の菅田将暉ANN。そうです、菅田将暉さんが結婚報告をされた放送回を入力とした時に出力される動画が以下になります！
活用方法
このシステムを活用して、大きく分けて3つの施策を考えました！
1.ラジオを聴く習慣がない人に向けて広告配信
過去1週間に放送された番組の動画を広告として、Youtubeやinstagramなど各媒体でターゲットを絞って配信します。（10代の各媒体ユーザーには10代に人気なラジオを流す ・ 霜降り明星との接触（垢フォロー・視聴履歴）が多いユーザーには霜降りのラジオを流す...など）
広告リンク先にはradikoのタイムフリーページを指定して、タイムフリー機能を使って手軽に番組をフルで聴いてもらえるようにします。
これでラジオに興味を持ってもらうことができれば、radikoユーザー・ラジオリスナーの増加が期待できます！
2.radikoに新機能「radikoClips」（仮名）を追加
radikoの新しい機能として、システムで制作した動画をショート動画風に公開する機能、名付けて「radikoClips」をアプリに追加します。この機能では、推薦システムに基づいてユーザーの趣味や思考に適した動画を順次表示します。これにより、ユーザーは自分に合ったラジオ番組を迅速に見つけられ、サービスの利用時間や継続率の向上が期待できます！radikoさんどうですか！！！！！！
3.Youtubeにコンテンツとして投稿
システムを用いて制作された画像を広告としてだけではなく、コンテンツとしてもYoutube上で投稿します。これには、理由があります。現在、第三者によるラジオ番組の切り抜き動画の違法アップロードが数多く存在しています。そこでラジオ業界の公式アカウントとして動画を投稿することで、ファンやリスナーに対して信頼性のある情報を届け、違法アップロード動画による損失を最小限に抑えることが期待できます！
youtubeに投稿されている違法アップロード動画
（ここまでの）まとめ
今回は、ラジオ番組の音声の一部を切り取り、字幕をつけた動画を自動的に制作するシステムを開発しました。このように、私は「自分が好きなことやモノに貢献したい」人間で、今回はラジオに焦点を当てましたが、それ以外にも音楽やモータースポーツなど貢献したい分野がたくさんあります。
自身が社会人になった時には、任された仕事を全うすることはもちろんのこと、様々な業界にデジタル領域で貢献できるよう、これからがんばっていきたいと思います！
追加項目（2024_07/27更新）
システムの欠点
実は、今回提案したシステムには大きな欠点があります。音声認識で使用しているWhisperでは、「誰が話しているか」といった情報を保持しておらず、複数人が会話している音源の場合、適切に文字起こしすることができません。つまり、菅田将暉のANNのような一人喋りのラジオ番組であれば適切に動作しますが、オードリー・霜降り明星のANNのような複数人が会話するラジオでは、文字起こし結果が不安定になります。
解決方法発見！？
ある日、暇つぶしがてら論文を漁っていたところ、こんな論文を見つけました。
SINGLE CHANNEL TARGET SPEAKER EXTRACTION AND RECOGNITION WITH SPEAKER BEAM
この論文では、NTTコミュニケーション科学基礎研究所より「SpeakerBeam」と呼ばれる、複数人の会話音源から特定の話者の音声を抽出する手法が提案されています。
このような手法を本システムに導入することで、複数人が会話するラジオにおいても適切に文字起こしできると考えられます。
大学の講義内で本手法を紹介する機会があったので、その時のスライドを記載しておきます。
(フォントはUDデジタル教科書体を用いています)
次回予告
SpeakerBeamを実装して本システムに組み込んでみようと思います。
また、これと並行して小規模農業の自動化やRAGを用いた特化型LLMシステムの構築、そしてソフト側の開発だけでなく電子工作などにも大学院修了までの期間に取り組んでみようと思います〜！
やばい。大学の研究進めな、、、修論書かれへん、、、、、、、、
コメント・提案の匿名投稿はこちらへ
ラジオ業界や技術に詳しい方も詳しくない方もたくさんコメント・アドバイスいただけると嬉しいです！
ラジオ歴（おまけ）
| Year | ラジオ | 補足情報 |
|---|---|---|
| 2013 | 「この時代にラジオなんて誰が聞くねん」と、ラジオを侮る | backnumberにハマる |
| 2016 | backnumberANNをきっかけにラジオを聴き始める | |
| 2017 | 菅田将暉ANNリスナーに | ANNきっかけで菅田将暉にハマる |
| - | 新内眞衣ANN0リスナーに | 坂道グループにハマる |
| - | 【特番】西野七瀬ANNを今日に至るまで聴きまくる | |
| 2018 | オードリーANNリスナーに | ひらがな推しを見始める |
| - | しっかりラジオにハマる | |
| 2019 | 新内眞衣ANN0で大学合格報告メール読まれ歓喜 | 乃木坂ライブ参戦 卒業直前西野七瀬の姿に思わず涙 |
| - | 新内眞衣ANN0の一部昇格に歓喜 | 菅田将暉ライブ落選し意気消沈 |
| - | 佐久間宣行ANN0リスナーに | 「企画書はラブレター」を座右の銘に追加 |
| - | 霜降り明星ANN0リスナーに | 霜降り明星ANN0で母校がいじられてることを知る |
| - | 土曜2部の週替わりパーソナリティを、知り合いが好きなアーティストが担当する際、ラジオがあることをそのその知り合いに紹介する活動をし続けラジオリスナー人口増加計画を一人でに始める。 | |
| - | いよいよラジオに沼る | |
| 2020 | コロナ禍でも笑いを届けてくれたラジオに感無量 | オードリー若林にどっぷりハマる |
| 2021 | オールナイトニッポンX始まる | |
| 2022 | 菅田将暉ANN閉幕。乃木坂ANNメインパーソナリティ新内眞衣さん卒業。失ってから気づく2人の偉大さ、失恋のような喪失感の始まり | 舞台「あの夜を覚えてる」でラジオの良さ再認識 |
| - | radikoプレミアム会員になる | ニッポン放送・文化放送・TBSラジオが聴けることに歓喜。 |
| 2023 | 【特番】Le SserafimANNXに歓喜 | K-popにハマる(特にIVE) |
| - | 自分でラジオ番組制作に挑戦、友人限定のプライベートSNSで公開。番組を制作・提供することが如何に難しいかを身をもって知る | |
| - | もはや自分がラジオに貢献したくなる | |
| - | ANN55周年記念ANN55時間SPを聴き続ける | 55周年記念で菅田将暉ANN復活に涙 |
| - | オードリーANNin東京ドームのチケット落選続き苦戦 | 日テレドラマ「だが情熱はある」にハマる |
| - | ここなら自分が実現したい事を実現できるかも！！って思える会社に出会う | |
| 2024 | オードリーANNin東京ドームを配信で視聴。伝説を目の当たりに | |
| - | 佐久間宣行のANN0リスナー感謝祭に応募！チケット発売日にサイトトラブル発生。既に神イベント確定 | - |
| - | バイト先でラジオリスナー増加計画を秘密裏に実行中 | |
| - | 佐久間宣行のANN0リスナー感謝祭に当選！生きがい見つかる | |
| - | オードリーANNin東京ドーム公式余韻本購入。マジで余韻 | |
| - | ナイティナインのANN歌謡祭2024に当選！佐久間さん・ナイナイで２日連続ANNイベントに参加確定！ | |
| - | オールナイトニッポンとガチャガチャの森コラボ企画のガチャガチャに大課金 | |
| - | オールナイトニッポンミュージックウィーク！僕の原点であるbacknumberANN復活に歓喜 | |
| - | オールナイトニッポンミュージックウィーク！backnumberANNからのハンブレANN0という神がかりな構成に睡眠拒否界隈発動 | |
| - | オールナイトニッポンミュージックウィーク！真夜中に繰り広げられるハンブレANN0ラジオ生ライブにテンション最高潮!!! |
筆者のその他の記事
Discussion
はじめまして！私、関西在住の現在大学4年生の者です。
saurusu様の記事、大変興味深く拝見させて頂きました！
私もラジオがとても大好きで、現在、大学にて「Z世代にとっての最適な『ラジオ』への入り口」をテーマに卒業論文を執筆しております。その中で貴殿のように私も「ラジオ番組の切り抜き施策」を提案しているのですが、よろしければ取材という形でぜひお話をお聞かせ願えませんでしょうか？