この記事は、 Aidemy Advent Calendar 2022の14日目の投稿です。
※弊社の教材はe-learningではなく、オンラインDXラーニングと呼びます。名前が変更される前から分析している話なのでこのタイトルで許してください。
自己紹介
業務
Aidemy Advent Calendar 2022に投稿しているエンジニアの皆様とは少し違う系統で、コンテンツグループにいます。
主に技術系コースを作ったり、後述するデータを見たりしています。
生い立ち
※前職の話です。
※相当な誇張表現が入っております。
上司「ってなわけで我が部門はこれだけの成果を残しました！」
議事録とっている自分(・・・自分運用周り担当だけど絶賛 on fire中・・・いいのか)
上司「今後の方針はより全社に拡大してより売上に貢献したいと思います！」
自分(拡大されたら問題も拡大される気が・・・というか最近手一杯すぎて今季目標達成出来そうにないんですけど・・・)
〜飲み会にて〜
カンパーイ
「ってなわけで運用周りを担当している君の評価は散々だったが、ま、来Qはがんばってくれ！」
「・・・。」
「結果さえ出せばあとは保守や運用の人達知らん。」みたいな方と働く機会があったのがきっかけで、「きちんとやった内容は数値的に振り返りましょう！」って部署内で働きかけるようになり、口だけの人間にならないよう自分でもデータを見るようになりました。
コンテンツをデータの観点からどうしたらいいかと試行錯誤している日々です。
コンテンツにおけるデータ分析は直感に反するデータが結構ある
弊社では受講者の皆様の評価をもとににコースの作成や改善をしています。
特に施策の振り返りに参考にしていますし、直感と反する話が多いです。
今回は分析をしていて驚いたした内容をまとめてましたので、コンテンツ系に携わっている方は参考にしてみてください。
※あくまで弊社での分析結果なので他社だと異なる可能性が大いにあります。この記事を鵜呑みにはしないでください。
質問内容を転記したら分かりやすさの評価が上がるのか
コースの画面から質問できる様子
弊社サービスAidemy Buisinessでは、コースの画面から質問出来ます。
ある時、質問と回答って受講者が欲しい情報だから、コンテンツに転記したら評価が上がるのでは？と話が上がり、検証しました。別の会社さんでもQ&Aサイトもありますし、話の筋は通っています。
コースの転記方法としては例えば
Pythonはプログラミング言語の一つです。
って文章に対して
「Pythonってどう読みますか？」
と質問が来て
「パイソンと読みます。」
と回答があれば
Python(パイソン)はプログラミング言語の一つです。
とコース内の記述を修正するイメージです。
コースによってまばら（≒効果がないパターンとある場合がある）
結論から言うと、効果があったコースとなかったコース色々あって一概に良くなるわけではありませんでした。
効果の有無の原因は不明
改善されたコース、そうでないコース比較しても具体的に「これを転記すれば評価が上がる」という内容は明らかにならず、原因は闇の中です。
概要動画の位置を受講者がすぐ見れる場所にしたら視聴率が上がるのか
続いて動画周りのお話。
近年めちゃ動画の需要があります。動画ほしいって声が沢山きます。
弊社でも動画コースをたくさん作っており、コースのトップページに概要動画があるコースもあります。
弊社コース機械学習概論のトップページ ページを開くとこの画面になり、概要動画が見れる
この動画の位置、もともとかなり下にスクロールした場所にしかなかったんですね。（下の画像参考
過去の概要動画の位置 画面をスクロールした右下の赤枠の位置にあり、位置が原因で視聴率が低迷しているのではないと当時は推測を立てていた
下の位置にあった当初、全然動画が見られていませんでした。
そこで動画の位置を今の位置に上げたら見られるようになるのでは？と思い、システム部に依頼して直してもらいました。その結果は・・・
変わらなかった
なんと変わりませんでした。概要動画がある他のコース確認してもすべて同じ結果です。
サービスの売り方の問題（？）
推測レベルですがサービスの仕組みが原因の1つだと考えています。
弊社サービスはたくさんあるコースをどれくらいの期間でどれくらいの人が受けていいですよって売り方をしています。
ただコース数があまりにも多いので受講必須カリキュラムと呼ばれる「期間内に必ず受け終わってね」と設定されるコース群がお客さんごとに設定されます。
弊社サービスの画面の一部 受講が必須のコースに「受講必須」のマークがつく
つまり
「期間内に必ず特定のコースを受け終えてください」と言われる
↓
受講者から受講完了（システム上の定義だと すべてのエクササイズの動画を見た and 問題にすべて正解した)にするために不要だと判断された情報はスルーされる
↓
概要動画は見なくても受講完了になる
↓
見られない
とスルーされているのではないかと推測しています。（補足ですが熱心な受講者さんは自分で気になるカリキュラム外のコースを見に行っていますので、すべてのお客さんが当てはまるわけでは有りません。）
かなり直感に反する内容で当時びっくりしました。
タイトルを凝った内容にしたらアクセス数増えるのか
続いてタイトルの話。広告業界ではコピーライティングって手法があります。内容としては消費者に「買いたい！」「見てみたい！」って思わせるフレーズを作って購入数を増やしたり、サイトへの流入数を増やす手法になります。「そうだ、〇〇に行こう。」とかもコピーライティングの一種です。
このコピーライティングを弊社で試したらアクセス数増えるのではないかと思った次第。
例えば
エラーの対処方法 Python基礎文法編
↓
プログラミングスピードアップ エラーの対処方法 Python基礎文法編
のようなターゲットとしている層（プログラミング習いたての初心者）に利点（プログラミングのスピードが上がる）がありますってのを訴求できるようにタイトルを作りました。
ないコースがほとんど
結論から言うとごく一部のコースを除いて効果は見られませんでした。
そもそも受講者はカリキュラムという形で受講している＋作り込みが甘かった（？）
理由は上記の概要動画の件で話したとおりですが、受講者はカリキュラムという形で受講しており、受講完了に不要なコースは受ける必要がないと判断しているからだと推測しています。
もちろんコピーライティングの作り方（ターゲティングがうまくできていない、受けたいと思わせられてない）が甘いも理由であると推測しています。
アクセス数が増えているコンテンツの共通点は興味がある内容（？）
とはいえ一部コースではアクセス数があるコースはありました。共通点は見いだせていないのですが
・受講必須カリキュラムに含まれやすい
・流行りのネタ（メタバース、Web３とか 気になった方が受講しているのではと推測している）
があるかと思われます。
研究データがあるのに異なった結果が出た例
個人的にめちゃくちゃ驚いた内容がこちらです。
字幕を入れると評価が上がるという研究を覆してしまった
弊社コース機械学習概論 字幕付きで見れます。
弊社では字幕が入っているコースがいくつかあります。
字幕の有用性ってあるのですか？って調べた研究があってどうやら
- 字幕は子供、青年、大学生、大人を含めて、全員に対して有益
- 100以上の研究論文にて、字幕は理解、注意、記憶を改善することが述べられている
- 特にノンネイティブ、子供、難聴者、聴覚障害者に有効
などと分かりやすさの観点で効果があるそうです。参考：Gernsbacher M. A. (2015). Video Captions Benefit Everyone. Policy insights from the behavioral and brain sciences, 2(1), 195–202. https://doi.org/10.1177/2372732215602130
字幕を出す前と後で比較すればコースの分かりやすさの評価が上がっているのではないかと思った次第。
字幕を出す前後比較しても分かりやすさの評価は変わらなかった
ところが全く変わっていませんでした。
上記の研究嘘なのか？いやいや１００以上の研究って書いてあるわけだし・・・。
とても疑心暗鬼になったのを覚えています。
原因：そもそも字幕がデフォルトで表示になっていなかった
原因は推測がついていて、そもそも字幕機能が最初から非表示に加えて字幕機能を知らない方が多いからっぽいです。
何も設定をいじっていない場合の動画表示 字幕のセッティングは通常off
データだけではわからない内容もたくさんあると実感しました。
じゃあ字幕をデフォルトで表示すればいいのではなく、字幕が画面のスライドの表示を遮って「スライドが見えにくい」と苦情に繋がる可能性があるのでやり方は考えないといけません。
ここがコンテンツの難しいところでもあったりします。
今後の予定
自分のSQLのスキルがまだまだ未熟なので、より複雑な内容を抜き出せるようにSQLの学習をすすめる次第です。
参考文献
画像素材：フリー素材ぱくたそ（www.pakutaso.com）
記事で取り扱った「機械学習概論」はこちらから無料登録して受けられます。
Discussion