A/B 테스트의 과정 (Process)

A/B 테스트를 하려면 우선은 적당한 모수의 수를 계산하는 과정이 필요하다.

이 부분은 따로 이야기를 하기로 하고

실제 A/B 테스트를 진행하고 실험 종료 이후 검정 (결과 해석)을 하는 과정에 대해서 생각해보았다.

 

1. 고려한 부분은 다음과 같다.

• 회원가입 전환율(singup 시작페이지 -> signup 완료)과 같이 1번 퍼널(funnel)에서 2번 퍼널로 전환이 끝인 경우는 전환율에 대해서 검정하면 된다.
• 구매 전환율(제품 상세페이지 -> 구매 CTA)와 같이 전환율도 보지만, 전환 후 구매금액도 함께 봐야하는 경우, 전환율이외에 평균 구매금액의 차이에 대해서 비교의 대상을 구매자만 볼 것인지, 테스트의 대상을 모두 볼 것인지 고민스러운 부분이 있다.

 

이에 대해서 다음과 같이 생각을 정리해보았다.

2. 정리

• A/B 테스트에서 전환율이 유의미한 차이가 있다면, 노출당 매출로 효과를 측정한다.
  • 전환이 유의미하기때문에 인당 매출의 유의미성과 무관하게 (유의미하던 그렇지 않던) 테스트의 효과는 노출당 평균에 포함된다.
• 만일 A/B 테스트에서 전환율의 유의미 하지는 않지만, 인당 평균 (구매 횟수나 구매금액)에 영향이 있다면 노출당이 아닌 인당 평균에 차이가 있는지 t-test 를 진행해 볼 수 있을 것같다. (여기서 t-test는 평균 비교의 의미)
• 참고로 위의 도식에서 노출당 평균을 검정(비교)하자고 한다면 전환이 안된 대상자는 매출이 0으로, 그 분포가 정규성을 따르지 않고 두 개의 봉우리 모습이 될것이라서, t-test가 아닌 wilcoxon 검정 (비모수)로 진행을 해야한다.