A/B 테스트13 04. 실험 플랫폼과 문화 실험 성숙도 모델 실험 성숙도 모델(Experiment Maturity Models) : 조직들이 A/B 실험을 통해 모든 변화를 실행하는 과정에서 겪을 가능성이 높은 단계를 구성한 것으로, 총 4단계 조직이 강력하고 신뢰할 수 있는 실험 플랫폼을 구축하고, 실험 문화를 정착하기 위해서는 실험 성숙도를 관찰하고 개선하는 것이 중요 단계와 관련없이 조직이 중점적으로 다뤄야 하는 분야 리더십 실험을 중심으로 하는 강력한 문화를 확립하고 A/B 테스트를 제품 개발 과정의 필수 요소로 포함시키기 위해서는 적극적인 리더십이 매우 중요함 실험하는 조직 문화를 만들어가는 최종 단계에 도달하기 위해서는 지속적인 측정, 실험, 지식 수집을 통해서만 가능함 이를 위해 경영자와 매니저의 지원이 다양한 수준에서 수행돼야 함 .. 2023. 12. 1. 03. 트위먼의 법칙과 실험의 신뢰도 1. 트위먼의 법칙의 의미 “흥미롭게 보이거나 다르게 보이는 모든 것들은 대체로 틀렸다.” “흥미롭게 보이는 통계는 거의 다 확실히 실수다” 경험에 따르면, 많은 극단적인 결과는 계측 오류(로깅과 같은), 데이터 손실 또는 계산 오류일 가능성이 높다. 2. 트위먼 법칙의 사례들 2-1. 통계 결과의 잘못된 해석 일반적인 실수는 지표가 통계적으로 유의하지 않다고 해서 실험 효과가 없다고 가정하는 것. 사용자 수가 원하는 검정력을 보장하기에 충분하지 않는 경우. 실험이 모집단의 작은 부분에만 영향을 미치는 경우에는 영향을 받은 부분 집합만 분석하는 것이 중요. p 값의 잘못된 해석 X : 실험군의 지표가 대조군의 지표와 다를 확률 O : 귀무가설이 참이라는 가정하에, 실험군의 지표가 극단의 결과를 가져올 확.. 2023. 12. 1. 02. 실험의 실행과 분석 End - To - End 예제 OEC : 사용자당 매출 어떤 사용자들이 분모가 될까? 사이트를 방문하는 모든 사용자 : 유효함 그러나 체크아웃(?)을 전혀 개시하지 않은 사용자를 포함하기 때문에 불필요한 노이즈 발생 (실험의 변화가 구매 프로세스 마지막쯤에 있어서?) 구매 프로세스를 완료한 사용자 : 해당 쿠폰 실험은 구매 완료에도 영향을 줄 수 있어서 총 수입은 증가할지라도 사용자당 매출은 감소할 수 있음. 구매 프로세스를 완료한 사용자가 늘어날 수 있기 때문 구매 프로세스를 시작한 사용자 : 변화가 퍼널 내에 있다는 전제하에 이것은 최적의 선택. 잠재 영향 대상자는 모두 포함되지만, 실험에서 실제로 발생한 변화에는 영향을 받지 않는(체크아웃을 전혀 시작하지 않는 사용자들)은 제외된다. 가설 검정 : 통계적 유의성 확립 (17장에서.. 2023. 12. 1. 01. 소개와 동기 용어 정리 A/B Test 종합 대조 실험(Controlled experiment) 대조군 (control) : 실험군의 실험 결과가 제대로 도출됬는지 비교하기 위해 어떠한 조작도 가하지 않은 그룹 실험군 (treatment) : 가설을 검정하기 위해 인위적으로 어떠한 조작을 가한 그룹 OEC(Overall Evaluation Criterion)는 전체 평가기준 통계학에서는 이를 반응변수(reponse variable), 종속변수(dependent variable)라고 도함. 실험에 따라 다르겠지만, 숨고의 매출은 대부분에서 중요한 OEC가 될 수도 있다. 캘린더의 OEC 사용율? 고수의 재방문율? 종속변수 : 연구자가 독립변수의 변화에 따라 어떻게 변하는지 알고 싶어하는 변수 독립변수 : 연구자가 의도.. 2023. 12. 1. 이전 1 2 다음
