Multivariate Test, 한 번에 여러 변수, 2007 Google Website Optimizer

한 줄로

A/B 테스트의 진화형입니다. 여러 변수를 동시에 테스트해서 가장 좋은 조합을 찾는 방법입니다.

어디서 왔나

A/B 테스트는 한 번에 두 버전(A vs B)만 비교합니다. 그런데 실제 페이지에는 여러 요소가 동시에 영향을 줍니다. 헤드라인, 이미지, 버튼 색, CTA 문구. 각각을 개별 A/B로 테스트하면 시간이 오래 걸립니다.

Multivariate Test (MVT)는 이를 한 번에 풀려는 시도입니다. 여러 변수의 모든 조합을 동시에 테스트합니다.

예: 헤드라인 2개 × 이미지 2개 × 버튼 색 2개 = 8가지 조합 동시 테스트. 가장 전환율 높은 조합을 발견합니다.

2007년 Google이 Website Optimizer를 출시하면서 MVT가 대중화됐습니다. 무료 도구로 누구나 시도 가능했습니다.

두 가지 방식

Full Factorial: 모든 조합을 균등하게 테스트합니다. 2^4 = 16개 조합을 모두 합니다.

• 장점: 가장 정확합니다.
• 단점: 트래픽이 매우 많이 필요합니다.

Fractional Factorial: 일부 조합만 테스트 + 통계적 추론입니다.

• 장점: 트래픽 적게 필요합니다.
• 단점: 정확도 살짝 낮습니다.

A/B 테스트와의 차이

• A/B Test: 한 번에 한 변수. 트래픽 적어도 가능. 결과 해석 명확.
• MVT: 동시 여러 변수. 트래픽 많이 필요. 변수 간 상호작용 발견 가능.

변수 간 상호작용

MVT의 진짜 가치는 상호작용 발견입니다.

예시: 빨간 버튼은 회색 배경에서 잘 작동하지만, 흰 배경에서는 잘 안 작동합니다. A/B 테스트로 각각 따로 보면 이 패턴을 못 봅니다. MVT는 조합을 보니까 발견 가능합니다.

트래픽 요구사항

• A/B Test: 보통 그룹당 1,000명.
• MVT (8개 조합): 그룹당 1,000명 × 8 = 8,000명. 한 달 트래픽으로 모자랄 수 있습니다.

1인 랩 규모에서는 MVT가 거의 불가능합니다. A/B 테스트도 통계 유의성 못 보는 경우가 많습니다.

도구 종말

Google Website Optimizer는 2012년 단종됐습니다. Google Optimize가 후속이었지만 그것도 2023년 9월 30일 단종됐습니다. 무료 MVT 도구가 사실상 사라졌습니다.

지금 MVT를 하려면 Optimizely, VWO 같은 유료 도구가 필요합니다 ($500/월~).

바이브 메이커가 챙길 한 가지

1인 랩에서 MVT는 거의 의미 없습니다. 사용자 인터뷰 5명이 MVT보다 강한 신호를 줍니다. MVT는 큰 트래픽이 있는 후기 단계 도구입니다.

관련

A/B Testing · Hallway testing · Conversion rate