10. 보완 기법

 

요약

성공적인 실험을 위해선 좋은 아이디어를 가지고 있는 것이 필요하며, 보완 기법들을 통해 이런 아이디어를 얻을 수 있음

아이디어가 필요한 영역으로는

• 아이디어 퍼널
  • 실험 자체를 위한 아이디어를 얻는 원천
  • 실험의 구현 비용이 높을 때
• 지표
• 가설에 대한 근거
• 보완 지표
  • 만족도처럼 측정이 어려운 지표가 필요할 때

보완 분석 기법 별 특징

 

분석 기법들은 각각이 적절한 상황에 따라 활용되야 한다.

이를 판단하는 가장 큰 축은 가지고 있는 사용자 수와 필요한 사용자 당 정보 깊이이다.

로그 기반 분석

• AB테스트를 할 수 있다는 것은 유저들의 행동을 트래킹할 수 있는 수단이 존재한다는 것을 의미함
• 따라서 로그 기반 분석이 가능
• 로그 기반 분석의 역할
  1. 직관 확립
     • 실험 및 실험에서 활용할 지표들이 어떠한 패턴을 보이는지 파악할 수 있음
       • 이 정보를 활용해 더 구체적이고 효과적으로 실험을 설계할 수 있다
       • 지표가 어떻게 움직여야 임팩트가 있는지를 알 수 있다
  2. 잠재적 지표의 구체화
     • 직관에 기반해 새로운 지표를 구체화할 수 있음
  3. 탐색한 데이터를 기반으로 A/B 테스트 아이디어 창출
     • 개선이 필요한 퍼널을 발견할 수 있다
     • 실험의 영향을 예측해볼 수 있다
       • 이메일 첨부 기능의 사용량을 확인해 관련 실험이 줄 트래픽 부하에 대해 이해하는등

사람의 평가

• 평가자를 활용해 평가를 하는 방법
• 주로 다수에게 동일한 임무를 할당하는 방식으로 실행된다
• 단점
  • 평가자는 사용자가 아니기 때문에 실제 사용자의 flow를 놓칠 가능성이 존재함
    • 훈련을 통해 보완 가능
• 장점
  • 디버깅에 유용함
  • 결과를 이해하는 것에 직관적인 단서를 제공

사용자 경험 연구 (UER)

• 사용자 경험 연구에는 다양한 갈래가 있지만, 이번엔 소수의 대상을 심층적으로 탐구하는 연구에 한정해 논의하려함
• 다만 이러한 연구를 통해서 도출된 결과는 더 많은 사용자에게 적용 가능한 방법을 통해 검증해야한다.

포커스 그룹 (FGI)

• 소수의 인원들 간 이뤄지는 그룹 논의
• FGI의 목표
  • 측정 장비를 통해 측정할 수 없으며, 아직 완성되지 않은 것에 대한 피드백을 받는 것
• 장점
  • UER보다 확장성이 뛰어남
  • 큰 변화 (브랜딩,마케팅 등)에 대한 사람들의 즉각적인 감정 변화를 이해하는 것에 도움이 됨
• 단점
  • 집단의 편견이나 소수의견에 좌지우지될 가능성이 큼

설문조사

• 온/오프라인에서 사람들을 모집해 질문에 대한 답을 받는 것
• 설문 조사의 설계와 분석은 무척 난해하다
• 설문 조사 설계시 주의할 점
  • 질문이 오역되지 않도록 해야함
  • 특정 답변을 유도해선 안됨
  • 질문 순서가 응답자가 선택하는 답변에 영향을 주지 않도록 해야함
• 설문 조사가 흔히 가지는 문제점
  • 사용자가 진실된 답변을 하지 않을 수 있다
  • 모집단이 편향되어 사용자를 대변하지 않을 수 있다
• 설문조사는 계측 장비에서 관측된 결과 (실험 또는 로그분석)과 직접적으로 비교하는 것이 불가능함
• 장점
  • 계측이 안되는 것을 측정할 수 있음

외부 데이터

* 예시외부 패널 데이터

• 우리 제품의 사용자와는 다른 demo에서 나왔을 수 있음

• 사용자 별 세그먼트 데이터를 제공하는 기업
• 설문 기업
• 논문
• lesson learned를 제공하는 기업

결론

• 자신의 상황에 따라 적합한 방법을 선정해서 활용한다