01. 소개와 동기

 

용어 정리

A/B Test 종합 대조 실험(Controlled experiment)

• 대조군 (control) : 실험군의 실험 결과가 제대로 도출됬는지 비교하기 위해 어떠한 조작도 가하지 않은 그룹
• 실험군 (treatment) : 가설을 검정하기 위해 인위적으로 어떠한 조작을 가한 그룹

OEC(Overall Evaluation Criterion)는 전체 평가기준

• 통계학에서는 이를 반응변수(reponse variable), 종속변수(dependent variable)라고 도함.
• 실험에 따라 다르겠지만, 숨고의 매출은 대부분에서 중요한 OEC가 될 수도 있다.
• 캘린더의 OEC 사용율? 고수의 재방문율?
• 종속변수 : 연구자가 독립변수의 변화에 따라 어떻게 변하는지 알고 싶어하는 변수
• 독립변수 : 연구자가 의도적으로 변화시키는 변수
• 상관관계는 상위 개념 인과관계가 하위 개념
• 상관 관계에 인과 관계가 포함된다.
• 키와 체중은 상관관계가 있지만 인과 관계는 아니다
• 일반적으로 키가 크면 체중이 많이 나갈 확률이 높지만,
• 키가 크다고 무조건 체중이 많이 나가는 것은아니다.

 

단기적 실험은 초두 효과와 변화 회피에 의해 영향을 받아 제대로된 결과를 도출하지 못할 수 있다.

• 초두 효과(primacy effect) : 처음 제시된 정보 또는 인상이 나중에 제시된 정보보다 기억에 더 큰 영향을 끼치는 현상을 말한다.
• 선, 긍적적인 말들이 제시 되었을때 첫인상을 더 좋게 반응을 보인다.
• 변화 회피(change aversion) : 처음 제품에 변화가 생겼을때 제품 사용 경험이 향상되더라도, 부정적으로 생각하는 유저들이 있다.
• 참고 : 언젠가 써먹는 심리 효과 101

실험을 위한 필수 재료

1. 서로간의 간섭 효과 없이 독립적인 실험군
2. 충분한 실험 단위 (충분한 유저 수)
3. 실제로 평가 가능한 핵심지표 (OEC)
4. 용이한 변경 (소프트웨어 알고리즘 변경)

온라인 제어 실험 조직 원칙

1. 조직은 데이터 중심 결정을 내리고 OEC를 공식화 한다.
2. 조직은 종합 대조 실험을 실행하고 그 결과가 신뢰할 수 있는지 확인하기 위해 인프라와 실험에 기꺼이 투자한다.
3. 조직은 아이디어의 가치를 평가하는데 서툴다는 것을 인지한다.