본문 바로가기

분류 전체보기191

11. 관측 인과 연구 관측 인과 연구가 가지는 의미 실험이 불가능한 상황에서 인과관계를 확인할 수 있다 다만, 통제 실험에 비해 신뢰도는 낮다 종합 대조 실험이 불가능한 경우 테스트할 인과적 행동을 조직이 통제할 수 없는 경우 실험군에 선택지를 제공해도 이에 실험군이 반응하지 않는 경우가 있을 것 같다 혹은 행동이 조직의 측정 범위에서 벗어나 있거나 사건의 수가 너무 적은 경우 대조군 설정에 비용이 너무 크게 드는 경우 변화로 인해 얻는 이익이 비용에 비해 너무 큰 경우 실험 대상의 무작위 추출이 불가능한 경우 실험이 비윤리적인 경우 관측 인과 연구를 위한 설계 관측 인과 연구의 쟁점 두 가지 실험군과 대조군은 어떻게 설정할 것인가? 대조군과 실험군이 받는 영향을 어떻게 모델링할 것인가? 관측 인과 연구 : 단절적 시계열 (.. 2023. 12. 23.
10. 보완 기법 요약 성공적인 실험을 위해선 좋은 아이디어를 가지고 있는 것이 필요하며, 보완 기법들을 통해 이런 아이디어를 얻을 수 있음 아이디어가 필요한 영역으로는 아이디어 퍼널 실험 자체를 위한 아이디어를 얻는 원천 실험의 구현 비용이 높을 때 지표 가설에 대한 근거 보완 지표 만족도처럼 측정이 어려운 지표가 필요할 때 보완 분석 기법 별 특징 분석 기법들은 각각이 적절한 상황에 따라 활용되야 한다. 이를 판단하는 가장 큰 축은 가지고 있는 사용자 수와 필요한 사용자 당 정보 깊이이다. 로그 기반 분석 AB테스트를 할 수 있다는 것은 유저들의 행동을 트래킹할 수 있는 수단이 존재한다는 것을 의미함 따라서 로그 기반 분석이 가능 로그 기반 분석의 역할 직관 확립 실험 및 실험에서 활용할 지표들이 어떠한 패턴을 보이는.. 2023. 12. 23.
09. 종합 대조 실험의 윤리 (1) 실험 진행 시 고려해야 할 윤리 사항 종합 대조 실험을 진행할 때 다음과 같은 고려들이 필요하다. 실험에서 사람들을 자율적 주체로 대하며 존중하라. 사람들을 위험으로부터 보호하라. 실험 참가자가 착취되지 않고 위험과 이익이 공정하게 분배되도록 보장하라. (2) 데이터 수집 실험 진행자와 엔지니어는 데이터 수집 관련하여 아래의 질문들에 대답할 수 있어야 한다. 어떤 데이터를 수집하고 있으며 사용자는 해당 수집에 대해 무엇을 이해하고 있는가? 프라이버시를 설계에서부터 고려하는 것은 이 영역의 유용한 프레임워크 중 하나다. 데이터 수집에 어떤 문제가 생길 수 있는가? 데이터 또는 일부 부분집합이 공개될 경우 사용자에게 어떤 해가 될 것인가? 건강, 심리적/정서적 상태, 사회적 지위 또는 금융에 해를 끼.. 2023. 12. 17.
08. 제도적 기억과 메타 분석 (1) 제도적 기억 종합 대조 실험을 기본적인 프로세스로 수용한 후 이에 대한 과정과 이를 통해 얻은 지식, 경험, 정책, 결과 등 실험에 관련된 모든 것들을 조직 차원에서 저장하고 유지하는 능력을 말한다. 실험과 관련된 stakeholders는 누구인지, 실험 시작과 끝은 언제이며 어떤 변경이 있었는지 정리할 필요가 있으며 실험이 다양한 지표에 얼마나 큰 영향을 미쳤는지 요약한 결과가 있어야 한다. 실험과 관련된 지식과 경험들을 조직의 자산으로 축적하는 것 (2) 메타 분석 이와 같이 실험에 대한 경험들을 자산화 하게 되었을 때 얻게 되는 이점은? 축적된 실험들을 바탕으로 종합적으로 내리는 결론은 단일 실험을 통해 도출하는 결론보다 더 강력하고 일반적일 수 있다. 이를 ‘메타 분석’이라고 칭함 2023. 12. 17.
07. 실험을 위한 지표와 종합 평가 기준 (1) 실험을 진행할 때 어떤 지표를 선택해야 할까 온라인 종합 대조 실험을 잘 설계하고 실행하려면 특정 특성을 만족하는 지표가 필요하다. 실험 지표는 단기(실험기간)에 측정 및 계산 가능해야 한다. ex) 구매 후 유저의 만족도는 측정하기 어렵다. 귀속 가능성 실험의 목적에 맞게 지표를 측정/계산하려면 실험군에 지표값을 귀속시킬 수 있어야 한다. ‘귀속 가능해야 한다’라는 말은 실험군에서 나타난 어떤 변화의 원인이 실험의 조건과 변경 사항에 있음을 의미한다. 예를 들어, 대조군과 실험군에서 앱 충돌율이 다르게 나타났다고 가정하자. 이때, 앱 충돌의 원인이 실험 조건과 변경사항에 있어야 한다는 걸 의미한다. 이러한 귀속 가능이 외부 데이터 공급자에 의해 제공되는 지표에서는 가능하지 않을 수 있다. 실험 .. 2023. 12. 17.
06. 조직 운영을 위한 지표 - 도입 조직은 지표를 통해 조직이 나아가야 할 목표로 잘 가고 있는지 평가할 수 있다. - 지표의 분류 목표 지표 (성공 지표, 진북(true north) 지표) 목표지표는 조직이 궁극적으로 무엇을 신경쓰는지 보여준다. 목표 지표를 도출하기 위해 원하는 것을 단어로 표현(ex. 제품의 존재 이유는? 조직의 성공은 무엇인가?)해보면 좋다. 이에 대한 답은 조직의 미션과 결부된다. - ex. 숨고 : 연결 목표 지표는 조직이 정말로 신경쓰는 것의 대용물로서 시간이 지남에 따라 반복적으로 개선할 필요가 있다. 지표(ex. IC)와 목표(ex. 연결)의 표현간의 간극을 이해하도록 하는 것은 조직을 올바른 방향으로 이끄는 데 중요하다. 목표 지표는 궁극적 성공을 가장 잘 포착하는 단일/작은 지표의 집합 → 각 .. 2023. 12. 7.
05. 속도의 중요성 - 도입 백엔드 단의 속도 저하 실험을 통해 아래의 질문에 대한 답을 찾을 수 있다. 제품 성능이 얼마나 중요한가? 제품 속도가 주요 지표(매출, 사용자 만족도 등)에 얼마나 영향을 주는지, 장기적 영향(탈퇴 고객)까지도 평가할 수 있음. 새로운 기능의 도입은 속도를 저하시키기 마련인데, 이 때 성능을 향상시키면 지표를 개선할 수 있는가? 제품의 어느 곳에서 지연 시간을 줄이는 것이 중요한가? 사용자가 스크롤 해야 보이는 영역, 분할된 화면의 오른쪽 영역은 덜 중요할 수 있음. 실제로 많은 기업에서 실험을 통해 속도가 중요하다는 것을 밝혀냈다. 2017년 빙은 10분의 1초의 개선마다 1억 8천만 달러의 연간 매출 증가의 가치가 있음을 확인했고, 이는 전문팀을 확대하는 근거로 충분했다. 아마존에서 100.. 2023. 12. 7.
04. 실험 플랫폼과 문화 실험 성숙도 모델 실험 성숙도 모델(Experiment Maturity Models) : 조직들이 A/B 실험을 통해 모든 변화를 실행하는 과정에서 겪을 가능성이 높은 단계를 구성한 것으로, 총 4단계 조직이 강력하고 신뢰할 수 있는 실험 플랫폼을 구축하고, 실험 문화를 정착하기 위해서는 실험 성숙도를 관찰하고 개선하는 것이 중요 단계와 관련없이 조직이 중점적으로 다뤄야 하는 분야 리더십 실험을 중심으로 하는 강력한 문화를 확립하고 A/B 테스트를 제품 개발 과정의 필수 요소로 포함시키기 위해서는 적극적인 리더십이 매우 중요함 실험하는 조직 문화를 만들어가는 최종 단계에 도달하기 위해서는 지속적인 측정, 실험, 지식 수집을 통해서만 가능함 이를 위해 경영자와 매니저의 지원이 다양한 수준에서 수행돼야 함 .. 2023. 12. 1.
03. 트위먼의 법칙과 실험의 신뢰도 1. 트위먼의 법칙의 의미 “흥미롭게 보이거나 다르게 보이는 모든 것들은 대체로 틀렸다.” “흥미롭게 보이는 통계는 거의 다 확실히 실수다” 경험에 따르면, 많은 극단적인 결과는 계측 오류(로깅과 같은), 데이터 손실 또는 계산 오류일 가능성이 높다. 2. 트위먼 법칙의 사례들 2-1. 통계 결과의 잘못된 해석 일반적인 실수는 지표가 통계적으로 유의하지 않다고 해서 실험 효과가 없다고 가정하는 것. 사용자 수가 원하는 검정력을 보장하기에 충분하지 않는 경우. 실험이 모집단의 작은 부분에만 영향을 미치는 경우에는 영향을 받은 부분 집합만 분석하는 것이 중요. p 값의 잘못된 해석 X : 실험군의 지표가 대조군의 지표와 다를 확률 O : 귀무가설이 참이라는 가정하에, 실험군의 지표가 극단의 결과를 가져올 확.. 2023. 12. 1.
02. 실험의 실행과 분석 End - To - End 예제 OEC : 사용자당 매출 어떤 사용자들이 분모가 될까? 사이트를 방문하는 모든 사용자 : 유효함 그러나 체크아웃(?)을 전혀 개시하지 않은 사용자를 포함하기 때문에 불필요한 노이즈 발생 (실험의 변화가 구매 프로세스 마지막쯤에 있어서?) 구매 프로세스를 완료한 사용자 : 해당 쿠폰 실험은 구매 완료에도 영향을 줄 수 있어서 총 수입은 증가할지라도 사용자당 매출은 감소할 수 있음. 구매 프로세스를 완료한 사용자가 늘어날 수 있기 때문 구매 프로세스를 시작한 사용자 : 변화가 퍼널 내에 있다는 전제하에 이것은 최적의 선택. 잠재 영향 대상자는 모두 포함되지만, 실험에서 실제로 발생한 변화에는 영향을 받지 않는(체크아웃을 전혀 시작하지 않는 사용자들)은 제외된다. 가설 검정 : 통계적 유의성 확립 (17장에서.. 2023. 12. 1.

티스토리툴바