Deep Dive #3
実験と検証（ABテストとその他の検証方法）
検証方法は「流行っているから」ではなく、問いに対して十分な確かさを得られるかで選ぶ。安い方法で需要を確かめ、ABテストで効果を測る。
対象: Marketplace PM / Growth PM / Data Science
読了目安: 5分
関連: 価格施策の実験設計 / Growth PM 実践ガイド
0. どの検証方法を使うか（判断フロー）
Q1. まだ「作る価値があるか」がわからない？→ Yes: 作る前に需要確認（インタビュー・アンケート・スモークテスト・偽ドア・事前登録ページ）
Q2. 体験として成立するか試したい？→ Yes: 小さく試す（Wizard of Oz・コンシェルジュMVP・プロトタイプのユーザビリティテスト）
Q3. ユーザー単位でランダムに分けられ、必要サンプル数が集まる？→ Yes: ABテスト（効果の大きさを因果として測る）
Q4. ユーザー同士が影響し合う（価格・在庫・配車など）？→ Yes: 地域/期間で分けるテスト（スイッチバック等）。ユーザー単位のABは偏りやすい
Q5. ランダム化そのものができない？→ 前後比較・差分の差分(DiD)・合成コントロール（因果の確かさはABより落ちる）
Q6. 案が多く、早く良い案に寄せたい？→ 多腕バンディット・多変量テスト
どの段階でも:数字の「なぜ」は行動ログ・ファネル分析・セッション録画で補う
1. ABテストで知っておくこと
ユーザーをランダムにA/Bへ分け、偶然だけでは説明しにくいかを確かめる。ランダム化しているから因果と言える。
| 事前に決めること | なぜ |
|---|---|
| 仮説 | 何が・なぜ変わるかを先に言語化しないと、結果の解釈が後付けになる |
| 主指標1つ | 結果を見てから指標を選ぶと、偶然の勝ちを拾う |
| 必要サンプル数 | ベースライン値と検出したい最小効果（MDE）、有意水準、検出力から決める |
| 期間 | 曜日差や新奇性効果を均すため、途中で止めない前提で決める |
サンプル数は前提とセットで書く: 「各群◯人」だけでは意味がない。ベースライン・MDE・有意水準・検出力を必ず併記する。
目安の式（両側5%・検出力80%、比率指標、両群は等分割）: 1群あたり n ≈ 16 × p(1−p) ÷ δ²（p=ベースライン率、δ=検出したい差の絶対値）。
計算例: p=5%、δ=1ポイントなら n ≈ 16×0.05×0.95÷0.01² ≈ 7,600人/群。δを半分にすると必要数は約4倍。7,600人は大まかな目安で、より厳密な計算では約8,200人/群になる。
「1%改善」は相対的な変化で、1ポイントの絶対差（δ）とは違う。ベースライン5%からの相対1%（5%→5.05%）なら、1群あたり約304万人が必要になる。
目安の式（両側5%・検出力80%、比率指標、両群は等分割）: 1群あたり n ≈ 16 × p(1−p) ÷ δ²（p=ベースライン率、δ=検出したい差の絶対値）。
計算例: p=5%、δ=1ポイントなら n ≈ 16×0.05×0.95÷0.01² ≈ 7,600人/群。δを半分にすると必要数は約4倍。7,600人は大まかな目安で、より厳密な計算では約8,200人/群になる。
「1%改善」は相対的な変化で、1ポイントの絶対差（δ）とは違う。ベースライン5%からの相対1%（5%→5.05%）なら、1群あたり約304万人が必要になる。
ガードレール指標: 主指標が上がっても、解約・エラー率・キャンセル率などが悪化していないかを同時に見る。
2. よくある落とし穴
| 落とし穴 | 何が起きるか | 対策 |
|---|---|---|
| 途中で何度も覗いて止める | 偶然の差で「勝ち」と判断しやすくなる | 期間・サンプル数を事前に固定（逐次検定を使うなら事前に設計） |
| 多重比較 | 指標や切り口を見すぎると、どれかが偶然勝つ | 主指標1つ、他は参考扱い |
| 新奇性効果 | 目新しさで一時的に上がり、のちに戻る | 十分な期間をとり、時系列で効果の推移を見る |
| SRM（人数比のずれ） | 設計50:50なのに実績が大きくずれる＝割り当ての故障のサイン | 結果を解釈する前に割り当てを点検 |
ABが向かない場面: ユーザー数が少ない／価格など人同士で影響し合う（マーケットプレイスの干渉）／ブランドなど長期効果。
3. マーケットプレイス特有の注意（例）
需要側の干渉（例）
B群の買い手にだけクーポンを出すと、B群が人気の在庫を先に押さえ、A群は買えなくなる。差は「施策の効果」ではなく「在庫の取り合い」を含んでしまい、全体に展開したときの効果を過大に見積もりやすい。
供給側の干渉（例）
一部の出品者にだけ露出優遇を与えると、優遇されない出品者の売上が減る。B群の伸びの一部はA群からの移転であり、市場全体の純増とは限らない。
地域で分ける（例）
需給が閉じている単位（都市・エリア）ごとに施策を割り当てる。干渉は減るが単位数が少なくなり、検出力は落ちる。
期間で切り替える＝スイッチバック（例）
同じエリアで時間帯ごとにA/Bを交互に切り替える。切り替え直後の持ち越し効果に注意し、境界の時間帯を分析から外すなどの設計が要る。
4. ABテスト以外の検証方法
| 目的 | 方法 | 得られるもの / 限界 |
|---|---|---|
| 作る前に需要確認 | ユーザーインタビュー、アンケート、スモークテスト、偽ドア、事前登録ページ | 安く速い。「欲しいと言う」と「実際に使う」は別 |
| 小さく試す | Wizard of Oz、コンシェルジュMVP、プロトタイプのユーザビリティテスト | 体験の成立を確認。スケール時の効果はわからない |
| ランダム化できないとき | 前後比較、差分の差分(DiD)、地域/期間で分けるテスト、合成コントロール | 現実的に測れる。因果の確かさはABより落ちる |
| 多くの案を効率よく | 多腕バンディット、多変量テスト | 良い案に早く寄せる。多腕バンディットでは、効果の大きさの推定はABより粗くなりやすい |
| 定性的に理解 | 行動ログ、ファネル分析、セッション録画 | 数字の「なぜ」がわかる。それ自体は効果の証明ではない |
5. 用語（一行説明）
- ランダム化
- 誰をどの群に入れるかを偶然で決めること。群の差を施策の効果とみなせる根拠。
- 主指標
- 成否を判断する唯一の指標。事前に1つ決める。
- ガードレール指標
- 悪化してはいけない指標（解約・エラー率など）。
- 有意水準
- 本当は差がないのに「差あり」と判断してしまう確率の上限（慣例で5%）。
- 検出力
- 本当にMDE以上の差があるとき、それを検出できる確率（慣例で80%）。
- MDE（最小検出効果）
- この実験で見つけたい最小の差。小さくするほど必要サンプル数が増える。
- 多重比較
- 多くの指標・切り口を検定すると、偶然の「有意」が出やすくなる問題。
- 新奇性効果
- 目新しさによる一時的な変化。
- SRM
- Sample Ratio Mismatch。設計どおりの人数比になっていない状態。割り当て故障のサイン。
- 干渉
- ある群への施策が別の群の結果に影響すること。両面市場では在庫・価格を通じて起きやすい。
- スイッチバック
- 同じ単位（エリア等）で期間ごとに施策を切り替えて比較する方法。
- 差分の差分（DiD）
- 施策群と比較群それぞれの前後差を比べ、共通の時間変化を差し引く方法。施策がなければ両群が同じ変化（平行な推移）をした、という仮定（平行トレンド）を置く。
- 合成コントロール
- 複数の未実施単位を重み付けして「施策がなかった場合」を作り、比較する方法。
- 多腕バンディット
- 成績の良い案に配分を寄せながら試す方法。
- 偽ドア
- 未実装機能の入口だけ出し、押される割合で需要を測る方法。
- Wizard of Oz
- 自動に見える機能の裏側を人手で動かして試す方法。
結論: 問いに対して十分な確かさを得られる方法を選ぶ。安い方法で需要を確かめ → ABで効果を測る。