ユーザストーリー模索のためにPOと実験観察・発話分析をしてみた話

はじめに

スマートフォンアプリをアジャイルで開発しています。スクラム^[1]で行っており、私はDEVとして参画しています。

まだアプリの芯となる価値・目玉機能が決まっていない頃に、デザイン思考を用いてプロダクトの価値となるユーザストーリーを模索しました。
そこでは、DEV・PO・SM・ステークホルダーが一体となって、ワークショップや、プロトタイプを用いた価値検証を行いました。

その中で、主にワークショップで様々なアイデアが出た後の、プロトタイプによる価値検証の部分を担当しましたので、記事に残してみようと思います。
スタンフォード大学のハッソ・プラットナー教授が定義した「デザイン思考 5 つのステップ」^[2]でいうと「テスト」の部分です。本記事の中では、「実験」と「分析」に分けて説明します。

※本記事で取り上げている具体例は実際のプロジェクトとは関連のない改変されたものです。

↑「デザイン思考 5 つのステップ」をもとに当社が作成

前提①: 価値検証の全体方針

ワークショップでは、アプリ(の機能)で狙いたい効果を2つ定めており、それに対して様々なアイデアが出されていました。

• (例) : 「毎日開いてほしい」「ちょっとほっこりさせたい」など

今回は、そのアイデアがどの程度狙った効果をもたらしそうか？を評価する方法を考えました。
まだその狙う効果さえも確固たるものではなく、具体的な指標が定まっている状態ではなかったため、プロトタイプによって方向性の感触を確かめるレベル感での実施を目指しました。

方向性によってアイデアの幹が定まってきてから、枝葉末節のアイデア出し・価値検証をさらに回していく算段です。

前提②: 制約・要件

前述の全体方針に加えて、実験・観察を行うにあたって様々な制約・要件がありました。

• ペルソナに当てはまる実験参加者は2名

• 用意できる時間は各30分〜1時間程度の時間。常にアプリを持っていてもらうことは不可能

• アイデアとして出した機能以外のそもそものベースのアプリの感触も知りたい

実験

手法について

まだアイデアの感触さえも不透明で、なるべく多くの実験参加者の「普段の自然な」振る舞いを観察して、アプリの価値になる種を見つけたい段階です。
10人以上の実験参加者を集めて2週間以上の長期間アプリを入れて頂き、利用している様子を観察するスタイルをとるのが理想でした。

しかしながら、制約より難しかったため短期間で仮想的に自然な挙動を観察できる手法を模索しました。

その結果、 半構造化面接形式 で 思考発話法 を実施して頂くといったスタイルをとりました。

半構造化面接形式とは？

半構造化面接形式とは、ある程度の質問や方針は決めつつ、相手の反応に応じて臨機応変に追加質問を行う手法です。主に採用面接やユーザーリサーチに利用されます。
ちなみに、質問を全て決めて行うものを「構造化面接」、逆に何も決めずに行うものを「非構造化面接」といいます。

ある程度の枠組みがあるので、収拾したい情報の大きなテーマは決まっているものの、聞きたい内容を掘り下げるような自由度の高いインタビュー・ヒアリングを行うのに向いています。

狙う効果が定まっているので、それに対する効果を測定したいもの、まだアイデアがプリミティブなものであり、具体的な指標を用意するよりも感触を確かめることにフォーカスを置きたかったため、この形式を選択しました。

思考発話法とは？

アプリの操作中、脳内で考えたこと・感情を実況に近い形でそのまま口に出してもらう手法です。感情の抑揚やなぜその操作を行なったのかのプロセスを観察することができます。
認知心理学実験やユーザビリティテストに利用されています。

アイデアで狙った効果が感情の高ぶりとの紐づきが大きく、思考プロセスを知りたかったため選択しました。

※かなり訓練が必要なため、今回は簡易的に思考の流れや感情を吐き出して頂きました。

実施前に整理しておいたこと

相手の反応に応じて臨機応変に質問内容を変える形ではあるものの、ある程度評価のために聞いておきたいことや観察しておきたいものはありました。

そこで、アイデアごとに、①狙った効果、②その効果が現れていることがわかる行動、③それを測るために聞くべき・見るべきポイント を整理し、以下のような表にまとめました。

アイデア	①そのアイデアが狙った効果	②その効果が現れていることがわかる行動・感情	③それを測るために見るべき・質問すべきポイント
(例)毎日1回だけ投稿ができる	毎日開いてほしい	毎日ログインする。「ログインしなきゃ・したい」旨をあらわす言動	連続投稿日数、毎日投稿しそうか思考実験、等

上記の表をもとに、アイデアごとにしたい質問やシナリオ、観察するポイントをリストアップしておきました。

(例)

• アプリを毎日開いているか見る
• 「これ明日も開きます？」「いつくらいまでこのアプリ使ってそうです？」のような思考実験のような遠回りの質問をし、思考プロセスを深掘りしていく
• その他自由に思考発話法に則って発言してもらう
• 参考情報として、その人の人となり・タイプがわかる質問や、普段よく使っているアプリなどを聞く

実験参加者への教示

• スクショや検索など、スマホでできる操作はすべてOKとしておく。自分の端末のつもりで。
• 録音・録画していることは言わないか、本当に少数の人に共有である旨を話す
• 感情・頭の中をなるべく言葉で吐き出すように
• マイナスなことも吐き出す
• 最初10分くらいは特にシナリオを無視して自由に触ってよい(この間に人物像やSNS利用有無、アプリの操作感を聞いておくことも狙い)

上記の内容を織り交ぜつつ、基本的には雑談形式で行いました。

本当は実験期間を2週間ほど確保して普段のアプリの利用の様子を観察したかったのですが、30分〜1時間しか確保できなかったため、できるだけ自分の端末で普段アプリを利用するのに近い形でプロトタイプのアプリを試してもらえるように工夫をしたかったからです。

実際にはPOが行ったのですが、非常に自然に会話しながら質問を織り交ぜるのに長けた方で大変勉強になりました。

分析

手法について

実験・観察パートで収集した発話・観察データを、SCAT法(Steps for Coding and Theorization)法 をベースに少し改変した方法で分析し、狙った効果に対する感触や、ペルソナの特性を持つ2名に共通して抽出できる概念・認識・感情をまとめました。

実験に参加できる人数がそもそも2名しかいなかったことに加え、今回狙った効果は絞られた属性のターゲットの心の動きを重視するものであったため、主観的な感情や意図、総合的なプロセスなどにフォーカスし、同様の特性を持つ人たちに適用できる本手法を選択しました。

SCAT(Steps for Coding and Theorization)法^[3]とは？

発話データという定量的ではない = 質的データ から潜在的な意味を見出し、新たな概念の抽出や理論化を行う手法です(フォームは名古屋大学のサイトからダウンロード可能です )。
定量的データにおける統計学的手法のような分析手続きが存在しなかった質的データを分析しやすくするため、名古屋大学の大谷尚さんが作成した分析フォーマットです。

改変フォーマット

自分以外のメンバーにも手伝って頂くためできるだけ平易な言葉にしたかったこと、最終的にアプリにどう活かすか考察したかったことより、フレームワークを以下のように改変しました。

時系列に並んでいる発話データから、各アイデアやトークテーマごとに順序を入れ替えてグルーピングをし、そのグループ単位で分析していきました。

(例)○アイデア1: 毎日1回だけ投稿ができる

時間	場面や聞き手の質問	発言・行動	注目すべき語句・行動	文脈を考慮した言い換え	解釈(その発言・行動から言えること)	考察(アプリに当てはめた解釈・狙った効果に対する評価)	導き出されたラベル
(例)0:11-	カレンダー画面を開いて	投稿していない日が空欄になっている部分をタップしながら「何も起きないか...」	空欄の日をタップ, 「何も起きないか...」	投稿しそびれた日の分をタップ, 投稿しそびれた日の分を埋められはしないか...	投稿できずに空欄になっている日を埋めたいモチベーションがある	継続投稿できている・できていないことが可視化されていると、継続投稿へのモチベーションが上がる	継続投稿実績の可視化によるモチベーション向上

最終的なまとめ方

上記のフォーマットにまとめたものを参考に、抽出した狙った効果に対する評価や導き出されたラベル、その他特記事項・共通的に抽出されたものなどを各アイデアやトークテーマごとにまとめました。

これを元にニーズ・潜在意識・思考プロセス・感情の動きを抽出し、アイデアの修正や枝葉末節を固める参考にしました。

(例)○アイデア1: 毎日1回だけ投稿ができる

実施した所感

記事執筆時点ではまだ全員の振り返りや次の価値検証サイクルに活かすところまで行なえていないため、私個人の所感になります。

今回選択した各手法についての良かった点と改善・反省点を整理してみました。

[実験]思考発話法

• ◎良かった点
  • 具体的な指標でなくても、アイデアがどの程度狙う効果に沿っていそうか、数値で測れない感情の動きを含めて観察することができた
• △改善・反省点
  • 実験参加者が一度脳内で文章を整理して独自解釈を加えてから話している場面が多々あった
    • 特に違和感を感じている際に綺麗に言語化しようとしている様子が見られた
    • → (TRY)特に違和感に関して、発話イメージの教示や練習を追加する
    • → (TRY)整理された独自解釈を待たず、1stepずつ解き明かす雑談を運営側から行なう

[実験]半構造化面接

• ◎良かった点
  • 会話の自由度の高いため関連した雑談が起きた
  • 雑談より、ワークショップ時には認識していなかったニーズを抽出できた
  • 雑談より、ターゲットユーザが「当たり前」として認識しており、それが満たされていないと不快感を抱くポイントを把握できた
• △改善・反省点
  • 自由度が高いため目的としていない詳細な機能面・ビジュアル面などに関する発話が多くなってしまった
    • 特に狙う効果からは少しそれた目的が不明瞭なアイデアに対して多かった
    • → (TRY)実験実施前にアイデアの再整理を行ったり、プロトタイプが本当にアイデアの価値を測るための最小限のものになっているか？確認することで改善できるのではないか

[分析]SCAT法をもとにした分析

• ◎良かった点
  • 明示的にその単語を発話していなくとも、会話の文脈を踏まえた知見を導き出せた
• △改善・反省点
  • 複数人で分担して行なったことにより、細かな分析の仕方や言い回しの解釈などに属人性が出てしまった
    • フォーマットを改変してチームメンバーでも分析しやすくしたり、ステップごとに相互レビューを行なったりと工夫をしたものの、それでも多少の差が出てしまった
    • → (TRY)1人で実施すべき？SCAT法の提案者大谷さんが著書^[4]で「共同研究者とさえ必ずしも解釈を共有できない」ため1人でやるべきだと言及している
    • → (TRY)作業量と期間を踏まえると発話データの整理や解釈をつける前までを分担し、その後を1人でやるなど工夫をするのが落としどころではないか

とはいえ一番大きな反省点は、準備不足で制約があり、実験手法が限られてしまったことです。
狙う効果に対しアイデアがどのくらい沿っているのか？を測るための実験計画を練り、実験計画を満たせる実験参加者を募るべきでした。

しかし、現実的には整えられた環境で実験できることは稀だと思います。そういう意味で限られた条件下でどのような手法が適切か、画策したのは良い経験でした。
個人的には今回の知見を活かして、また違う制約下での実験・分析もチャレンジしてみたいです。

まとめ

実験・観察環境や実験参加者数としては限られた制約の範囲内であり、かつアイデアもプリミティブなもので具体的な測る指標を置かない方が向いている、という状況の中、どのように価値検証を実施し分析に繋げようか非常に悩みました。

正解がわからない中かなり模索した結果ですが、今でも最適な方法だったかは疑問です。

同じようにプリミティブな段階であったり、制約が大きい場合の価値検証の方法に困っている方に、何かの足がかりとなれば幸いです。

また、より良い手法あるよ〜って方はぜひコメントで教えていただけると非常に嬉しいです。

脚注

1. アジャイル開発のフレームワークの1つで、経験主義をもとにプロダクトの価値を最大化することを目指している。3つの役割に分かれた少人数チームでプロダクト開発を行う。詳細はスクラムガイド(日本語訳)を参照。

2. d.school, An Introduction to Design Thinking PROCESS GUIDE.

3. 大谷尚. (2011). SCAT: Steps for Coding and Theorization―明示的手続きで着手しやすく小規模データに適用可能な質的データ分析手法―. 感性工学, 10(3), 155-160.

4. 大谷尚. (2019). 質的研究の考え方―研究方法論からSCATによる分析まで. 名古屋大学出版会.