11. 관측 인과 연구

 

관측 인과 연구가 가지는 의미

• 실험이 불가능한 상황에서 인과관계를 확인할 수 있다
  • 다만, 통제 실험에 비해 신뢰도는 낮다

종합 대조 실험이 불가능한 경우

• 테스트할 인과적 행동을 조직이 통제할 수 없는 경우
  • 실험군에 선택지를 제공해도 이에 실험군이 반응하지 않는 경우가 있을 것 같다
  • 혹은 행동이 조직의 측정 범위에서 벗어나 있거나
• 사건의 수가 너무 적은 경우
• 대조군 설정에 비용이 너무 크게 드는 경우
• 변화로 인해 얻는 이익이 비용에 비해 너무 큰 경우
• 실험 대상의 무작위 추출이 불가능한 경우
• 실험이 비윤리적인 경우

관측 인과 연구를 위한 설계

• 관측 인과 연구의 쟁점 두 가지
  • 실험군과 대조군은 어떻게 설정할 것인가?
  • 대조군과 실험군이 받는 영향을 어떻게 모델링할 것인가?

관측 인과 연구 : 단절적 시계열 (Interrupted Time Series)

• 비교군과 통제집단을 설정하는 것이 불가능한 경우 사용한다
  • 변화가 모든 집단에 적용된 경우가 주를 이룬다
• 모델을 활용해 시계열 추정치를 만들고, 변화가 발생했을 때 추정치와 실제 지표 변화를 비교해 인과관계를 추론하는 방법
• 주의점
  • 교란효과(고려하지 못한 다른 원인이 결과에 영향을 주는 것)를 주의해야함
    • 예시
      • 계절성
      • 다른 영역에서의 시스템 변화
      • 변화를 여러번 주었을 때 유저들이 환경 변화를 불쾌해하는 경우

관측 인과 연구 : 교차 배치 실험

• 순위 알고리즘을 평가하는 데 사용되는 일반적인 방법
  • x와 y 두 가지 순위 알고리즘의 결과를 교차로 배치하고 중복 결과를 제거함
• 여러 모델들을 동시에 돌리고, 성능에 따라 중요도를 조정하여 중요도가 높을 수록 고객에게 많이 노출되는 식으로 수정해가며 실험을 진행

관측 인과 연구 : 회귀 불연속 설계 (Regression Discontinuity Design)

• 실험군과 대조군을 나누는 명확한 임계값(특정 기준, 예를 들면 80점 up or down)이 있을 때 사용
  • 임계값 바로 밑의 집단 : 대조군
  • 임계값 바로 위의 집단 : 실험군
  이런식으로 임계점을 기준으로 차이가 벌어진 경우 사용하기 좋은 방법론이다

 

처치 효과가 없었다면 점선과 같은 추세를 보였을 것이라고 주장하는 것!

 

관측 인과 연구 : 도구 변수 및 자연 실험 (Instrumented Variables(IV) and Natural Experiements)

• 실생활에서 자연스럽게 혹은 필요에 의해 무작위 할당이 적용된 사례를 활용해 분석하는 것을 말한다
  • 자연스럽게 발생하는 경우
    • 이란성 쌍둥이
  • 필요에 의해 발생하는 경우
    • 여러 종류의 추첨
      • 징병 추첨
      • 공립학교 입학 추첨

관측 인과 연구 : 성향 점수 매칭 (Propensity Score Matching)

• 실험군과 대조군을 무작위할당으로 배분하기 어려운 경우 두 그룹이 최대한 유사한 집단일 수 있도록 성향 점수가 비슷한 실험군과 대조군을 짝으로 만들고, 짝이 없는 경우 제외해 분석을 진행하는 기법
• 짝을 만드는 방법 : logistic regression
  • 종속변수(y값) : 실험군을 1, 대조군을 0으로 설정
  • 독립변수(x값) : 가장 핵심이 되는 설명변수 이외의 외적인 변수(covariate)
    • y가 폐암 여부이면 x는 흡연 여부, covariate는 나이&운동 여부 등임
  • 성향 점수 : logistic regression을 돌려서, covariate를 활용해 y를 제대로 추정할 확률
  • 성향 점수가 비슷한 실험군과 대조군을 짝으로 만들고 짝이 안된 경우는 분석에서 제외함
• 이렇게 짝이 된 데이터를 활용해 분석을 진행하면, covariate의 효과를 최대한 제거한 것이기 때문에 우리가 보려는 설명변수에 의한 효과를 확인할 수 있다

관측 인과 연구 : 이중차분법 Difference in Difference(DiD)

• 실험군과 대조군의 처치 전후의 변화를 비교하는 분석 방법론이다
• 방법론
  • 실험군과 대조군의 처지 이전 차이를 계산한다
  • 실험군과 대조군의 처치 효과를 비교할 때, 처치 이전의 차이를 반영해 최종적인 처치의 효과를 집계한다
• 사례
  • Colab의 ab테스트 자동화