본문 바로가기
분석/AB 테스트

13. 계측

by 여우요원 2023. 12. 23.
반응형

모든 비지니스는 사용자들이 시스템과 어떻게 상호작용하는지에 대해서 이해해야하며 이를 위해서 정확한 계측이 필요하다.
이번 장에서는 계측의 핵심 사항에 대해서 이야기한다.

 

클라이언트 계측

  • 사용자 행동 : 클릭, 머물기, 스크롤 등
  • 성능 : 웹페이지가 나타나거나 상호작용이 되는 데 걸리는 시간
  • 오류 및 충돌 : 자바스크립트 오류는 일반적이며, 오류 및 충돌을 추적하는 것은 중요하다.

서버 계측

  • 성능 : 서버가 응답을 생성하는데 걸리는 시간
  • 시스템 응답속도 : 서버가 사용자로 부터 몇 건의 리퀘스트를 받는가? 서버는 몇 페이지를 제공했는가
  • 시스템 정보 : 캐시 적중률은 얼마인지, 몇 개의 예외 또는 오류가 발생했는지

여러 소스에서 로그 처리

  • 아래와 같은 서로 다른 계측 스트림으로 부터의 로그가 있을 수 있다.
    • 다른 클라이언트(웹, 모바일) 의 로그
    • 서버로그
    • 사용자별 상태
  • 위의 로그들을 통합하려면, 모든 로그에 대해서 키 역할을 할 수 있는 공통 식별자를 사용해야한다.

계측 문화

  • 계측은 정말 중요하다. 패널의 장치가 부서진 비행기를 운전한다면 어떤 정보를 신뢰할 수 있는가?
    • 문화적 규범 확립 : 계측 없이는 no 배포
    • 계측 장치의 테스트 : 기능을 만드는 엔지니어는 필요한 계측을 추가하며 코드 제출 전에 테스트에서 확인
    • 가공 전 수집 그대로의 기록 품질을 모니터링 : 주요 관측치 및 지표에서 특이값을 탐지할 수 잇는 도구
반응형

'분석 > AB 테스트' 카테고리의 다른 글

12. 클라이언트 측 실험  (1) 2023.12.23
11. 관측 인과 연구  (1) 2023.12.23
10. 보완 기법  (1) 2023.12.23
09. 종합 대조 실험의 윤리  (0) 2023.12.17
08. 제도적 기억과 메타 분석  (0) 2023.12.17