AB 테스트13 02. 실험의 실행과 분석 End - To - End 예제 OEC : 사용자당 매출 어떤 사용자들이 분모가 될까? 사이트를 방문하는 모든 사용자 : 유효함 그러나 체크아웃(?)을 전혀 개시하지 않은 사용자를 포함하기 때문에 불필요한 노이즈 발생 (실험의 변화가 구매 프로세스 마지막쯤에 있어서?) 구매 프로세스를 완료한 사용자 : 해당 쿠폰 실험은 구매 완료에도 영향을 줄 수 있어서 총 수입은 증가할지라도 사용자당 매출은 감소할 수 있음. 구매 프로세스를 완료한 사용자가 늘어날 수 있기 때문 구매 프로세스를 시작한 사용자 : 변화가 퍼널 내에 있다는 전제하에 이것은 최적의 선택. 잠재 영향 대상자는 모두 포함되지만, 실험에서 실제로 발생한 변화에는 영향을 받지 않는(체크아웃을 전혀 시작하지 않는 사용자들)은 제외된다. 가설 검정 : 통계적 유의성 확립 (17장에서.. 2023. 12. 1. 01. 소개와 동기 용어 정리 A/B Test 종합 대조 실험(Controlled experiment) 대조군 (control) : 실험군의 실험 결과가 제대로 도출됬는지 비교하기 위해 어떠한 조작도 가하지 않은 그룹 실험군 (treatment) : 가설을 검정하기 위해 인위적으로 어떠한 조작을 가한 그룹 OEC(Overall Evaluation Criterion)는 전체 평가기준 통계학에서는 이를 반응변수(reponse variable), 종속변수(dependent variable)라고 도함. 실험에 따라 다르겠지만, 숨고의 매출은 대부분에서 중요한 OEC가 될 수도 있다. 캘린더의 OEC 사용율? 고수의 재방문율? 종속변수 : 연구자가 독립변수의 변화에 따라 어떻게 변하는지 알고 싶어하는 변수 독립변수 : 연구자가 의도.. 2023. 12. 1. A/B 테스트의 과정 (Process) A/B 테스트를 하려면 우선은 적당한 모수의 수를 계산하는 과정이 필요하다. 이 부분은 따로 이야기를 하기로 하고 실제 A/B 테스트를 진행하고 실험 종료 이후 검정 (결과 해석)을 하는 과정에 대해서 생각해보았다. 1. 고려한 부분은 다음과 같다. 회원가입 전환율(singup 시작페이지 -> signup 완료)과 같이 1번 퍼널(funnel)에서 2번 퍼널로 전환이 끝인 경우는 전환율에 대해서 검정하면 된다. 구매 전환율(제품 상세페이지 -> 구매 CTA)와 같이 전환율도 보지만, 전환 후 구매금액도 함께 봐야하는 경우, 전환율이외에 평균 구매금액의 차이에 대해서 비교의 대상을 구매자만 볼 것인지, 테스트의 대상을 모두 볼 것인지 고민스러운 부분이 있다. 이에 대해서 다음과 같이 생각을 정리해보았다. .. 2023. 8. 9. 이전 1 2 다음
