Freeive

Fail School·발행 2026.05.19

진짜 시그널 vs 노이즈 다시 보기

100명 가입자 중 진짜 신호는 5명. Nate Silver의 시그널 이론으로 본 가짜 신호 5가지 패턴(허영지표, 친구가입, 일회성, 피상적 칭찬, 가격거부)과 진짜 신호의 4가지 특징.

첫 MVP의 100건 데이터에서 진짜 신호는 3~5건이다.

100명 중 5명의 비밀

박서연 씨가 첫 MVP를 출시하고 1개월 후 데이터를 정렬했을 때, 그녀는 이렇게 말했어요. "가입자 100명이 생겼어요!" 목소리가 밝았습니다. 하지만 깊게 들어가보니 상황이 달랐어요. 가입자 100명 중 활성 사용자는 30명, 그 중에서 실제로 돈을 낸 사람은 5명이었습니다. 그리고 더 흥미로운 건, 그 5명의 패턴이 완전히 달랐다는 거예요. 나머지 95명과는 전혀 다른 방식으로 제품을 사용하고 있었죠.

박서연 씨는 "100명이 왔다"는 신호를 읽고 있었는데, 진짜 신호는 "5명이 반복적으로 돈을 낸다"는 거였어요. 둘 다 숫자지만, 완전히 다른 의미입니다.

시즌1에서 배운 신호, 이제 다시 읽기

시즌1 14편에서 "직감을 데이터로 바꾸는 순간, 진짜 비즈니스가 시작된다"고 배웠어요. 그때는 맞는 말이었습니다. 하지만 두 번째 MVP를 준비하는 지금, 다음 단계가 있어요. 모든 데이터가 신호인 것은 아니다.

북극성 지표(NSM), AARRR 퍼널, AI로 피드백 분류. 이것들은 여전히 필요합니다. 하지만 놓친 게 있었어요. 바로 신호의 질(quality)입니다. 100명이 가입했다고 해서 모두 같은 신호를 주는 건 아니에요. 그 안에는 진짜 신호도 있고, 진짜 노이즈도 있습니다.

통계학자 Nate Silver의 The Signal and the Noise에서 강조하는 점은 이거예요. 데이터가 많을수록 노이즈를 신호처럼 착각하기 쉬워진다. 특히 1인 창업가는 매일의 작은 변화를 과해석해요. "어제 3명이 가입했다, 오늘 2명이 가입했다"는 변동성을 트렌드로 착각하는 거죠.

가짜 신호 5가지 패턴

1. 허영 지표 (Vanity Metrics)

가입자 100명, 클릭 1,000회, 동시 접속 300명. 보여주기 좋습니다. 하지만 가입자 100명 중 활성이 10명이면? 클릭 1,000회가 100명에서 나온 건가, 10명에서 나온 건가? 한 사람이 100번 클릭하면 그게 신호일까요?

연구에 따르면 73% 정도의 초기 단계 창업가들이 허영 지표에 의존하면서 정작 중요한 경고 신호는 무시한다고 해요.

2. 친구 가입 (Friend Bubble)

"ProductHunt에 출시하면 첫날 300명이 가입할 거 같은데?" 가능합니다. 하지만 그 300명이 진짜 사용자일까요? 첫 사용자들의 상당 부분은 "ProductHunt 사냥꾼", "테크 뉴스 구독자", "개발자 커뮤니티 멤버" 같은 얼리어댑터 네트워크에서 옵니다. 당신의 실제 타겟이 아닐 수도 있어요.

3. 일회성 클릭 (One-off Interaction)

"어제 갑자기 사용자가 10배 늘었어!" 흥분하죠. 하루 지나면 원래대로. 누군가 커뮤니티에 공유한 거예요. 그건 신호가 아니라 일회성 이벤트입니다. 진짜 신호는 그 이후에 보여요. "그 10명 중 몇 명이 다음날 돌아왔나?"

4. 피상적 칭찬 (Shallow Praise)

"완벽해요!", "정말 필요한 도구네요!", "대박이야!" 귀에 달콤하지만, 정작 다시 돌아오지 않습니다. "좋다"고 말하는 것과 "돈을 낸다"는 것 사이에는 거대한 간극이 있어요. 칭찬은 감정이고, 돈은 신호입니다.

5. 가격 거부를 시장 거부로 오독

"유료화했더니 이탈률이 80%였어." 가격을 낮춰도 별로 안 나아짐. 놓친 게 있어요. 가격이 문제가 아니라, 애초에 핵심 기능을 경험한 사용자가 얼마나 되는가가 문제일 수 있어요. 100명 중 핵심 기능까지 도달한 사람이 10명이면, 그 10명에게만 물어봐야 합니다.

진짜 신호의 4가지 특징

1. 반복 (Repetition)

한 명이 어제 와서 아무것도 안 했는데, 오늘 30분 작업했다? 일회성. 하지만 10명이 매주 월요일과 금요일에 오고, 평균 20분씩 있다가 간다? 그건 패턴, 신호입니다.

코호트 분석을 하면 보여요. 1월 가입자 50명 중 1월 활성 30명, 2월 돌아온 20명(40% Retention), 3월 18명(90% Retention). 이런 반복성이 진짜 신호입니다.

2. 돈 (Monetization)

"정말 좋아합니다"와 "매달 $9.9를 내겠습니다"는 다릅니다. 박서연 씨의 100명 중 5명 유료, 그 5명을 자세히 보니 공통점이 있었어요. 모두 회사 마케팅 팀, 주 3회 이상 로그인, 가입 후 3일 안에 핵심 기능 사용. 이게 진짜 신호입니다.

3. 소개 (Referral)

한국 SaaS 성공 사례를 보면 초기 성장의 30~50%가 기존 사용자 소개에서 옵니다. "내 팀원한테 추천했어요", "우리 회사에서도 도입했어요" 이런 말이 저절로 나오면, 제품이 정말 문제를 해결했다는 신호예요.

4. 이탈의 역으로 (Retention)

일반적으로 B2B SaaS는 월 이탈률 5% 이하가 건강. 하지만 초기엔 50% 이상 이탈해요. "한 달 이상 머물러 있는 사람들이 뭘 공통으로 했나?"를 봐야 합니다. 그게 당신의 진짜 사용자고, 그들의 행동 패턴이 진짜 신호예요.

진짜 신호를 한 줄로 압축하기

모든 것을 정리해서 한 줄의 명제로 만들어야 합니다. 다음 편(Kill의 용기)에서 이 명제로 "계속할까, 멈출까"를 결정하니까요.

박서연 씨의 압축된 신호:

"회사 마케팅 팀원들이 주 3회 이상 로그인하고, 가입 후 1개월 동안 60%가 활성 상태를 유지하며, 그 중 8%가 유료로 전환한다. 따라서 우리의 다음 MVP는 '이 세그먼트를 더 깊게 파고 드는 것'이다."

이준호 씨의 경우:

"개발자용 AI 도구는 입소문이 강하다. ProductHunt 300명 가입 중 소개로 온 사람이 40명(13%). 우리의 신호는 '기술 커뮤니티에서의 입소문'이고, 다음 MVP는 이를 활용한 마케팅이다."

단순히 숫자가 아니라, "우리가 다음에 뭘 할지"를 바로 행동으로 바꿀 수 있는 명제입니다.

신호 분류 매트릭스

반복성 ✓반복성 ✗
돈 흐름 ✓진짜 신호일회성 수익
돈 흐름 ✗관심 신호노이즈
  • 진짜 신호: 월 5명이 계속 유료 전환
  • 일회성 수익: 1번 홍보로 30명 가입 후 80% 이탈
  • 관심 신호: 매주 로그인하지만 아직 유료화 안 함 (기다려볼 가치)
  • 노이즈: 가입 후 2일 내 이탈하는 사용자

AI 신호 분류 프롬프트

다음은 우리 MVP의 사용자 100명 행동 데이터입니다. (붙여넣기)

각 사용자를 다음 중 하나로 분류해주세요:
- 진짜 신호: 반복적이고 돈으로 이어지는
- 관심 신호: 반복적이지만 아직 유료화 안 함
- 일회성: 한 번만 왔거나 한 번만 돈 냄
- 노이즈: 1주일 안에 이탈

각 사용자의 다음을 JSON으로 분류:
- 가입 경로
- 로그인 횟수
- 사용 시간
- 유료 전환 여부
- 마지막 로그인 날

그리고 각 카테고리의 공통 특징을 3가지씩 뽑아주세요.

Claude의 결과에서 "진짜 신호" 그룹의 공통 특징 3가지를 보세요. 그게 당신의 다음 가설입니다.

마무리

이제 당신은 100명의 노이즈 속에서 진짜 신호 3~5개를 찾았어요. 이것이 첫 MVP 회고의 마지막입니다. 데이터를 읽는 법을 배웠으니, 이제 결정을 내려야 할 차례예요. 계속할 것인가, 방향을 바꿀 것인가, 아니면 멈출 것인가. 다음 편에서는 가장 용감한 결정, Kill의 용기에 대해 배웁니다.


이전 편: 데이터가 말해준 것 vs 내가 듣고 싶었던 것
다음 편: Kill의 용기, 잘 죽이는 것이 다음의 자원이다


이 글에 등장하는 인물(박서연, 이준호)에 대한 안내
본 시리즈에 등장하는 인물은 페일스쿨이 만든 가상의 페르소나입니다. 단, Nate Silver의 시그널 이론, 코호트 분석, B2B SaaS retention 벤치마크 등은 모두 실제 연구·통계 기반입니다.


김민철, 프리아이브 CEO, 페일스쿨

#페일스쿨#시즌2#시그널#노이즈#허영지표#Cohort#Retention#NateSilver

Recent

다른 일기도 같이.