データが言ったこと vs 私が聞きたかったこと

最初のMVPの本当の結果は、あなたが見ていない場所にある。

有料5人は良いシグナルか?

パク・ソヨンさんが最初のMVPをリリースして6か月。マーケコラム自動分類ツールは思ったよりうまくいきました。初月で30人が登録、今では100人を超えています。有料転換率も5%、シーズン1を読んで始めた人の中ではかなり良い水準。

問題はここから。「5人が有料顧客になったというのは、良いシグナル? それとも失敗のシグナル?」 1週間考えたけれど、答えが出ません。友達は「大ヒットだね」と言い、オンラインコミュニティは「もっと育ててみて」と言いました。

でも、もともと見ていたデータと今見ているデータが違いました。アクティブユーザーは毎週減っていて、平均セッションは1.5分、返金率は15%。友達の祝福も自分の不安も、どれも信じられなくなりました。「私は何を見ればいいの?」

私たちが見たかったもの、確証バイアスの構造

最初のMVPのデータを読む作業は、科学のように見えて、実は自己欺瞞の神学です。データを客観的に見ていると思っているけれど、実際には自分が見たいものだけを見ています。

心理学者はこれを確証バイアス(confirmation bias)と呼びます。私たちの脳は、自分の信念を裏付ける情報は素直に受け入れ、否定する情報は自動で濾します。

最初のMVPではこれがさらに致命的。なぜならあなたはすでにこのプロジェクトに時間を投じているから。シーズン1で学んだ14日のビルド、徹夜、疲労。すべてが過去で、あなたの脳は「すでに使った時間が無駄でなかったでほしい」というメッセージを送り続けます。これを埋没コスト・バイアス(sunk cost bias)と呼び、結果は同じ。良いデータは大きく見え、悪いデータは小さく見えます。

パクさんの場合を見ます。彼女は「有料5人」を見ました。これはデータです。でも見ていないデータがあります。毎週減るアクティブユーザー、1.5分の平均セッション、15%の返金率。これらは「有料5人」と矛盾します。でも彼女の脳は自動で動きました。「5人が決めたんだから、これは本当のニーズ。残りのデータはまだ初期だからこうなのだろう。」

確証バイアスは意図的な嘘ではありません。あなたは本当にそう見えているのです。脳がそう働くように進化した。だから自制では超えられません。仕組みでだけ可能です。

データの客観化、AIを鏡として使う

ここで選択肢が2つ。1つ目は「確証バイアスを認識して慎重に考える」、でも効きません。1950年代の実験で証明済み。慎重になっても、脳はやはり自分の信念を支える証拠を探します。

2つ目が現実的。第三者の目でデータを読み直す。AIはこれが得意。確証バイアスがない。あなたの「有料5人」を「祝う」こともない。埋没コストもなし。ただデータだけを見ます。

パクさんはこんなふうにできます。

データ:
- 総登録者100名
- アクティブユーザー30名(週単位で下落)
- 有料転換5名($9.9/月)
- 平均セッション1.5分
- 返金率15%
- 新規登録ペースが週5名以下に鈍化

このデータを見て、この製品はPMFに到達したと思う?
次にどんなシグナルを見るべき?

するとAIはこう答えます。

「有料5人は初期シグナルですが、返金率15%とアクティブユーザーの減少を合わせて見ると、『本当のニーズ』というより『好奇心購入』である可能性が高い。本当のシグナルは:月の継続有料比率、機能別の使用時間、顧客リテンションです。」

これがAI客観化の力。あなたの感情が混じらない、純粋なデータ読み。

Claudeを使うときは「データをきれいに表で整理して送る」→「批判的フィードバックを依頼」→「次のアクション3つを依頼」の順で進めると精度が上がります。一度にすべて聞かない。

ネガティブシグナルと向き合う、使わない人の本当の理由

確証バイアスのもう一つの顔はネガティブシグナルの目をそらしです。

最初のMVPで悪いデータは主に人の行動に隠れています。登録したのに3日で離脱したユーザー、機能を一度もクリックしなかったユーザー、「いいね」と言ったのに再訪しないユーザー。こうしたネガティブシグナルは「データ」のように見えません。感情的で解釈の余地があるように見えます。

でもこれがいちばん大事なデータ。心理学者ロブ・フィッツパトリックがThe Mom Testで言ったように、人が何をしないかは、何をするかよりずっと正直です。

パクさんができることはシンプル。離脱したユーザーに会って直接聞くこと。「このツールを3日使ってやめましたが、具体的にどの部分が問題でしたか?」その答えは「有料5人」よりずっと多くの情報を含んでいます。

2つの分離

1. 彼らの言葉 vs 行動
2. 初期関心 vs 実際の問題

「良いツールですね」という言葉は実質的に何も教えてくれません。でも「私はマーケコラムが多すぎて分類が大変なのに、あなたのツールはこの問題をまだ解決できていない」は具体的なシグナル。

「フィードバックをたくさん集めればいい」と思いがち。間違いです。100件のあいまいなフィードバックより、5件の具体的なネガティブフィードバックがいい。質より量を集めた瞬間、確証バイアスはもっと強くなります。

シグナル再解釈、最初のMVPデータを読み直す

パクさんは自分のデータをすべてもう一度並べます。シーズン1で学んだ振り返りの技術を使って。そして各データを3つに分類。

• 明確なシグナル:実際の行動で証明されたもの(有料転換、明確な反復利用)
• 弱いシグナル:初期関心だがまだ検証されていないもの(登録、1〜2回利用)
• ネガティブシグナル:人がしなかったこと(離脱、利用放棄、返金)

今、はっきりします。有料5人は「製品が良い」シグナルではなく「5人は好奇心で財布を開いた」シグナル。問題は1.5分セッションに隠れています。ユーザーはこのツールで実際にコラム分類をしていないのです。

シグナル vs 自己合理化の比較表

失敗インタビュー質問10種

離脱または返金ユーザーに聞くべき具体的な質問。

1. このツールをいつ使うのをやめると決めた?
2. やめるとき具体的に何が引っかかった?(明確な理由を要求)
3. この問題を解決するため代わりに何をした?(代替ソリューション)
4. 最初に登録したとき解きたかった問題は?(初期仮説)
5. その問題はどのくらいの頻度で起きる?(深刻度)
6. 今までこの問題をどう解いていた?(既存ワークフロー)
7. どんな機能があったら使い続けた?(言葉だけ vs 本当に欲しい)
8. 似たツールを使ったことは? 何が違った?(競合比較)
9. 今から再度使う可能性は? 何が変わる必要?(復帰条件)
10. 友達にこのツールを勧める? (最終評価)

この10問が「有料5人」よりずっと正確に次の決定を作ります。

まとめ

これで、あなたは自分のデータが何を言っているかと、自分が何を聞きたかったかを区別できるようになりました。有料5人は良いシグナルではなく、検証が必要なシグナルでしかありません。本当のシグナルは見えない場所、人がしなかったことの中に隠れています。

次の記事では、この曖昧な100件のデータから本当のシグナル3〜5件を抽出するフレームを学びます。

前の記事:何を学んだか
次の記事:本当のシグナル vs ノイズ、再考

パク・ソヨンについて
パク・ソヨンはフェイルスクールが作った架空のペルソナです。ただしMom Test、確証バイアス、埋没コストなどの心理学・経営学の概念と研究はすべて実在のものです。

キム・ミンチュル、Freeive CEO、フェイルスクール