데이터가 말해준 것 vs 내가 듣고 싶었던 것

첫 MVP의 진짜 결과는 당신이 보지 않은 곳에 있다.

5명 유료는 좋은 신호인가?

박서연 씨가 첫 MVP를 출시한 지 6개월이 지났습니다. 마케팅 칼럼 자동 분류 도구는 예상보다 잘 됐어요. 첫 달 30명이 가입했고, 지금은 100명을 넘었습니다. 유료 전환율도 5%인데, 시즌1을 읽고 시작한 사람들 중에선 꽤 좋은 수준이었어요.

문제는 여기부터예요. "5명이 유료 고객이라는 게 좋은 신호일까, 아니면 실패의 신호일까?" 1주일을 고민했지만 답이 나오지 않았습니다. 친구들은 "대박이다"라고 했고, 온라인 커뮤니티는 "더 키워봐"라고 했어요.

하지만 박서연 씨가 원래 본 데이터와 지금 본 데이터는 달랐습니다. 활성 사용자는 매주 줄고 있었고, 평균 세션은 1.5분, 환불율은 15%였어요. 친구들의 축하말도, 자신의 불안감도 모두 믿을 수 없게 됐습니다. "내가 뭘 봐야 하는 거지?"

우리가 보고 싶었던 것, 확증 편향의 구조

첫 MVP의 데이터를 읽는 일은 과학처럼 보이지만 실제론 자기기만의 신학이에요. 우리는 데이터를 객관적으로 본다고 생각하지만, 실제로는 자신이 보고 싶은 것만 봅니다.

심리학자들은 이를 확증 편향(confirmation bias)이라고 부릅니다. 우리 뇌는 자신의 믿음을 확인하는 정보는 쉽게 받아들이고, 부정하는 정보는 자동으로 걸러내요.

첫 MVP에서 이것은 더 치명적입니다. 왜냐하면 당신은 이 프로젝트에 이미 시간을 썼기 때문이에요. 시즌1에서 배운 14일의 빌드 시간, 밤샘, 피곤함. 그 모든 것이 이미 지나갔고, 당신의 뇌는 "이미 쓴 시간이 낭비되지 않았길 바란다"는 메시지를 계속 보냅니다. 이를 매몰 비용 편향(sunk cost bias)이라고 하는데, 결과는 같아요. 좋은 데이터는 크게 보고, 나쁜 데이터는 작게 봅니다.

박서연 씨의 경우를 보세요. 그는 "5명 유료"를 봤어요. 맞습니다. 이건 데이터예요. 하지만 보지 않은 데이터들이 있습니다. 매주 하락하는 활성 사용자, 1.5분 평균 세션, 15% 환불율. 이 데이터들은 "5명 유료"와 모순돼요. 하지만 박서연 씨의 뇌는 자동으로 작동했어요. "5명이 결정했으니까, 이건 진짜 니즈야. 나머지 데이터는 아직 초기라서 그런 거겠지."

확증 편향은 의도적 거짓말이 아닙니다. 당신이 정말로 그렇게 봅니다. 뇌가 그렇게 작동하도록 진화했기 때문이에요. 따라서 자기통제로는 극복할 수 없습니다. 오직 체계로만 가능합니다.

데이터 객관화, AI를 거울로 쓰기

여기서 한 가지 선택이 있어요. 첫 번째는 "확증 편향을 인식하고 더 조심히 생각한다"는 것인데, 효과가 없습니다. 1950년대 실험에서 증명됐어요. 당신이 조심해도 뇌는 여전히 자신의 믿음을 확인하는 증거를 찾아냅니다.

두 번째 선택이 현실적이에요. 제 삼자의 눈으로 데이터를 다시 읽기. AI는 이 일에 탁월합니다. 확증 편향이 없어요. 당신의 5명 유료를 "축하"하지 않습니다. 매몰 비용도 없어요. 그저 데이터만 봅니다.

박서연 씨가 다음처럼 할 수 있어요.

데이터:
- 총 가입자 100명
- 활성 사용자 30명 (주 단위로 하락)
- 유료 전환 5명 ($9.9/월)
- 평균 세션 1.5분
- 환불율 15%
- 신규 가입 속도 주 5명 이하로 둔화

이 데이터를 보고, 이 제품이 PMF에 도달했다고 생각하나?
다음 어떤 신호를 더 봐야 하나?

그러면 AI는 이렇게 답해요.

"5명 유료는 초기 신호지만, 환불율 15%와 감소하는 활성 사용자를 함께 보면 '진정한 니즈'보다는 '호기심 구매'일 가능성이 높습니다. 진정한 신호는: 월 정기 유료자 비율, 기능별 사용 시간, 고객 유지율입니다."

이것이 AI 객관화의 힘이에요. 당신의 감정이 개입되지 않은, 순수한 데이터 읽기.

Claude를 쓸 때는 "데이터를 깔끔하게 테이블로 정리해서 보내기" → "비판적 피드백 요청" → "다음 액션 3개 제시 요청" 순으로 하면 더 정확합니다. 한 번에 모든 걸 묻지 마세요.

부정적 신호와 마주서기, 안 쓰는 사람의 진짜 이유

확증 편향의 또 다른 얼굴은 부정적 신호의 외면이에요.

첫 MVP에서 나쁜 데이터는 주로 사람들의 행동에 숨어있어요. 가입은 했지만 3일 뒤 이탈한 유저, 기능을 한 번도 클릭하지 않은 유저, "좋네요"라고 말했지만 다시 안 쓴 유저. 이런 부정적 신호들은 '데이터'처럼 보이지 않아요. 뭔가 감정적이고 해석의 여지가 있어 보입니다.

하지만 이것이 가장 중요한 데이터예요. 심리학자 롭 피츠패트릭이 The Mom Test에서 말했듯이, 사람들이 무엇을 하지 않는지가 무엇을 하는지보다 훨씬 정직합니다.

박서연 씨가 할 수 있는 일은 간단해요. 이탈한 유저를 만나서 직접 묻는 것. "이 도구를 3일 사용하고 그만두셨는데, 정확히 어떤 부분이 문제였나요?" 그 대답은 "5명 유료"보다 훨씬 더 많은 정보를 담고 있어요.

두 가지 분리

1. 그들의 말 vs 행동
2. 초기 관심 vs 실제 문제

"좋은 도구네요"라는 말은 사실상 아무것도 말해주지 않아요. 하지만 "나는 마케팅 칼럼이 너무 많아서 분류가 힘든데, 당신의 도구는 이 문제를 아직도 해결 못 했어"는 구체적인 신호입니다.

"피드백을 많이 모으면 될 거야"라고 생각하기 쉬워요. 틀렸습니다. 100건의 모호한 피드백보다 5건의 구체적인 부정 피드백이 낫습니다. 질보다 양을 모으는 순간 확증 편향은 더 강해져요.

신호 재해석, 첫 MVP 데이터 다시 읽기

박서연 씨는 이제 자신의 모든 데이터를 다시 한 번 나열합니다. 시즌1에서 배운 회고의 기술을 써서. 그리고 각 데이터를 세 가지로 분류해요.

• 명확한 신호: 실제 행동으로 증명된 것 (유료 전환, 명확한 반복 사용)
• 약한 신호: 초기 관심이지만 아직 검증 안 된 것 (가입, 한두 번 사용)
• 부정 신호: 사람들이 하지 않은 것 (이탈, 이용 포기, 환불)

이제 명확해져요. 5명 유료는 "제품이 좋다"는 신호가 아니라 "5명은 호기심으로 지갑을 열었다"는 신호입니다. 문제는 1.5분 세션에 숨어있어요. 사용자들이 이 도구로 실제로 칼럼을 분류하지 않는다는 뜻이에요.

신호 vs 자기 합리화 비교표

실패 인터뷰 질문 10종

이탈 또는 환불 사용자에게 물어야 할 구체적 질문들:

1. 이 도구를 언제 그만 쓰기로 결정했어?
2. 그만 쓸 때 구체적으로 뭐가 막혔어? (명확한 이유 요구)
3. 이 문제를 해결하기 위해 대신 뭘 했어? (대체 솔루션)
4. 처음 가입할 때 풀고 싶던 문제가 뭐였어? (초기 가설)
5. 그 문제는 얼마나 자주 생겨? (심각도)
6. 지금까지 이 문제를 어떻게 풀고 있어? (기존 워크플로우)
7. 어떤 기능이 있었으면 계속 썼을 것 같아? (말뿐 vs 진짜 원함)
8. 비슷한 도구를 써본 적 있어? 뭐가 달랐어? (경쟁자 대비)
9. 지금 다시 써볼 가능성이 있어? 뭐가 바뀌어야? (복귀 조건)
10. 친구에게 이 도구를 추천할 생각 있어? (최종 평가)

이 10개 질문이 "5명 유료"보다 다음 결정을 훨씬 더 정확하게 만듭니다.

마무리

이제 당신은 자신의 데이터가 무엇을 말하는지, 그리고 자신이 무엇을 듣고 싶어 했는지를 구분할 수 있어요. 5명 유료는 좋은 신호가 아니라 검증이 필요한 신호일 뿐입니다. 진짜 신호는 보이지 않는 곳, 사람들이 하지 않은 것들 속에 숨어있어요.

다음 편에서는 이 명확하지 않은 100건의 데이터에서 진짜 신호 3~5건을 추출하는 프레임을 배웁니다.

이전 편: 무엇을 배웠는가, 회고는 다음의 자산이다
다음 편: 진짜 시그널 vs 노이즈 다시 보기

이 글에 등장하는 인물(박서연)에 대한 안내
박서연 씨는 페일스쿨이 만든 가상의 페르소나입니다. 단, Mom Test, 확증 편향, 매몰비용 등 심리학·경영학 개념과 연구는 모두 실제입니다.

김민철, 프리아이브 CEO, 페일스쿨