본문 바로가기
분석/AB 테스트

13. 계측

by 여우요원 2023. 12. 23.

모든 비지니스는 사용자들이 시스템과 어떻게 상호작용하는지에 대해서 이해해야하며 이를 위해서 정확한 계측이 필요하다.
이번 장에서는 계측의 핵심 사항에 대해서 이야기한다.

 

클라이언트 계측

  • 사용자 행동 : 클릭, 머물기, 스크롤 등
  • 성능 : 웹페이지가 나타나거나 상호작용이 되는 데 걸리는 시간
  • 오류 및 충돌 : 자바스크립트 오류는 일반적이며, 오류 및 충돌을 추적하는 것은 중요하다.

서버 계측

  • 성능 : 서버가 응답을 생성하는데 걸리는 시간
  • 시스템 응답속도 : 서버가 사용자로 부터 몇 건의 리퀘스트를 받는가? 서버는 몇 페이지를 제공했는가
  • 시스템 정보 : 캐시 적중률은 얼마인지, 몇 개의 예외 또는 오류가 발생했는지

여러 소스에서 로그 처리

  • 아래와 같은 서로 다른 계측 스트림으로 부터의 로그가 있을 수 있다.
    • 다른 클라이언트(웹, 모바일) 의 로그
    • 서버로그
    • 사용자별 상태
  • 위의 로그들을 통합하려면, 모든 로그에 대해서 키 역할을 할 수 있는 공통 식별자를 사용해야한다.

계측 문화

  • 계측은 정말 중요하다. 패널의 장치가 부서진 비행기를 운전한다면 어떤 정보를 신뢰할 수 있는가?
    • 문화적 규범 확립 : 계측 없이는 no 배포
    • 계측 장치의 테스트 : 기능을 만드는 엔지니어는 필요한 계측을 추가하며 코드 제출 전에 테스트에서 확인
    • 가공 전 수집 그대로의 기록 품질을 모니터링 : 주요 관측치 및 지표에서 특이값을 탐지할 수 잇는 도구

'분석 > AB 테스트' 카테고리의 다른 글

12. 클라이언트 측 실험  (1) 2023.12.23
11. 관측 인과 연구  (1) 2023.12.23
10. 보완 기법  (1) 2023.12.23
09. 종합 대조 실험의 윤리  (0) 2023.12.17
08. 제도적 기억과 메타 분석  (0) 2023.12.17