A/B Testing, 1920년대 농업 통계학자에서 시작된 웹 마케팅

한 줄로

100년 전 농작물 수확량을 비교하던 통계 방법이 지금은 모든 디지털 제품의 의사결정 도구가 됐습니다.

어디서 왔나

1920년대 영국 로담스테드 농업 시험장(Rothamsted)에서 일하던 통계학자 로널드 피셔(Ronald A. Fisher)가 The Design of Experiments (1935)를 출간했습니다. 이 책에서 그는 무작위 배정 실험(randomized controlled trial)의 수학적 기반을 정리했습니다.

피셔가 풀고 싶었던 문제는 두 종류의 비료 중 어느 쪽이 더 효과적인지를 어떻게 객관적으로 비교할 것인가였습니다. 그가 정립한 방법은 무작위로 밭을 나눠 한쪽엔 A, 한쪽엔 B를 뿌리고, 통계적 유의성을 검증하는 것이었습니다.

이 방법이 1950년대 의약 임상시험에 도입됐고, 1960년대 마케팅(다이렉트 메일의 두 가지 헤드라인 비교)에서 쓰이기 시작했습니다.

웹으로 옮겨온 결정적 순간: 2000년, 구글이 검색 결과 페이지의 링크 색을 41가지 파란색으로 A/B 테스트한 일화입니다. 디자이너 마리사 메이어가 "본능적으로 결정"하려 했지만 결국 데이터가 이긴 사건입니다 (이후 메이어는 야후 CEO가 됩니다).

2000년대 후반 Optimizely, VWO 같은 A/B 테스트 SaaS 도구들이 등장하면서 모든 e커머스의 표준이 됐습니다.

지금 우리가 쓰는 방식

• 버튼 색 / 카피 비교: 가장 단순한 형태.
• 두 가지 온보딩 흐름: 신규 사용자를 무작위로 두 그룹.
• 가격 페이지 레이아웃: 전환율 측정.

기본 규칙:

• 샘플 크기: 통계적 유의성을 보려면 보통 그룹당 1,000명 이상.
• 한 번에 한 변수: A vs B만. 여러 변수 동시 비교는 다변량 테스트(MVT).
• 충분한 기간: 요일별·시간별 패턴 고려해 최소 1주.

바이브 메이커가 챙길 한 가지

A/B 테스트의 함정은 트래픽이 적으면 통계가 안 나온다는 것입니다. 1인 랩에서 일일 100명만 들어오는 앱에 A/B 테스트를 돌리는 건 의미가 없습니다. 대신 사용자 인터뷰 5명이 더 강한 신호를 줍니다. A/B 테스트는 트래픽이 충분히 큰 다음 단계의 도구입니다.

관련

Multivariate Test · Hallway testing · Conversion rate