こんにちは。
Eight事業部プロダクト部でデータアナリストをしている林田です。
本記事は Sansan Advent Calendar 2021 13日目の記事です。
adventar.org
Eightのデータ分析チーム「データマネジメントチーム」にはデータアナリストが3人所属しており、メンバーはそれぞれが担当するサービス領域において意思決定やKPIマネジメントの支援をしています。
データ分析チームのお仕事については以前記事を書いているので、宜しければこちらもご覧ください。
Eightのデータ分析チームのお仕事 - Sansan Builders Blog
今回はそんなデータ分析チームの仕事の中でも、開発チームと伴走してデータ分析していく手法についてお話したいと思います。
なぜデータ分析が重要なのか
プロダクト開発においてデータ分析が必要になる場面は2つあります。1つは機能の企画段階における意思決定、もうひとつはリリース後の効果測定です。
前者はAとBの機能のうちどちらを優先して着手すべきか（＝どちらの方がインパクトが大きいか）、後者はリリース物が期待通りの成果を生み出しているか、というような問いであることが多いです。
前者の問いももちろん大事なのですが、機能をリリースすることばかりに集中している状態は「ビルドトラップ」といって、危険な状態です。下記の書籍の p.1において次のように定義されています。
ビルドトラップとは、組織がアウトカムでなくアウトプットで成功を計測しようとして、行き詰っている状況のことです。実際に生み出された価値ではなく、機能の開発とリリースに集中してしまっている状況です。
O'Reilly Japan - プロダクトマネジメント
※ここでのアウトプットはリリースした機能の数やコードの行数、アウトカムは顧客の課題解決や企業の利益を意味します。
たくさんコードを書いてたくさんの機能をリリースしても顧客価値を生みだしていなければ企業の成長はストップしてしまいます。それを避けるために、リリース後にもデータ分析をして、アウトカムを計測していく必要があるのです。
アウトカム計測のサイクル
アウトカム計測が大事とはいっても、PdMや開発チームは常に忙しく、機能のリリース後にはまたすぐ次の機能に取り掛からなければいけない状況も多々あるでしょう。
そういった状況の中でも適切にアウトカム計測をしていくための手法として、スクラム開発の波に乗って、少しだけ立ち止まる方法をご提案したいと思います。
※Eightではスクラム開発を採用していて、殆どのチームが1週間か2週間を1スプリントとして開発に取り組んでいます。
スクラムイベントには下記のようなものがありますが、アウトカム分析をしていくうえではこのうちRefinementとSprintReviewが大切なイベントです。
Refinement：要求の整理、優先順付けを行う場
- 要求の整理と同時にアウトカムの仮説を立て、仕様書に明記しておくとよい
SprintReview：開発チームがリリース物を関係者にお披露目する場
- アナリストからリリース物のアウトカムについて報告する時間を取る
- ステークホルダーが揃っており、かつ定期的に開催されるのが大事
これらのスクラムイベントでどのような実践を行ったかを見ていきます。
実践：Refinement
既に述べた通りRefinementは本来要求（仕様）の整理を行う場ですが、私たちのチームでは少しだけ足を止めてアウトカムについて考える時間を持つようにしています。
リファインする仕様書のフォーマットに次のようなアジェンダを入れておくことで、普段の開発サイクルの中で自然とアウトカムを意識できるようになります。
追加したアジェンダは次の通りです。
- 定量的ターゲット
- 仮説
- 検証したいこと
1.にはその施策で変化を狙うKPIを記載します。Eightであれば、例えば「名刺取り込み枚数」などです。
2.には「○○の改善によって、名刺取り込み枚数は向上する」「××の体験には悪影響はない」など、期待される結果を記述します。
3.には「一人当たりの名刺取り込み枚数の変化」「△△を使った場合とそうでない場合の差分」など、施策の影響を把握したい項目を記載しておきます。
全部いきなり取り入れる余裕がないという場合は、上から順に取り入れていくこともおすすめです。
なお、定量的な計測が不要だったり不可能ならそれはそれでOKとしています。全部の開発アイテムを細かく効果計測すると疲弊してしまうので、対象は意思と意図を持って*1選定することを大切にしています。
実践：Sprint Review
SprintReviewは本来開発チームがリリース物を関係者にお披露目するための場ですが、必然的にプロダクトのステークホルダーが集合するのでアウトカムを共有するにはうってつけのイベントです。
毎週～隔週で10分ほど時間をもらって、アナリストがリリース物について分析した結果を報告するようにしています。事前にRefinementで検証したい項目について認識を合わせているので、分析のテーマや切り口については迷うことはありません。
狙い通りの成果が出る時もあれば全く目標に届かなかったというデータが出ることもありますが、その都度関係者で結果を受け止めて、次はどんな施策をやればいいのかを考える材料にしています。
まとめ
アウトプットだけでなくアウトカムという視点を持つことで本当の顧客価値にフォーカスすることができます。小さなことからでもよいのでぜひデータ分析を開発サイクルに取り入れて、顧客に喜ばれるプロダクトを作っていきましょう！一緒に顧客価値に向き合っていきたい仲間も絶賛募集中です！
jp.corp-sansan.com
*1:Sansanのカタチの1つです
