모든 비지니스는 사용자들이 시스템과 어떻게 상호작용하는지에 대해서 이해해야하며 이를 위해서 정확한 계측이 필요하다.
이번 장에서는 계측의 핵심 사항에 대해서 이야기한다.
클라이언트 계측
- 사용자 행동 : 클릭, 머물기, 스크롤 등
- 성능 : 웹페이지가 나타나거나 상호작용이 되는 데 걸리는 시간
- 오류 및 충돌 : 자바스크립트 오류는 일반적이며, 오류 및 충돌을 추적하는 것은 중요하다.
서버 계측
- 성능 : 서버가 응답을 생성하는데 걸리는 시간
- 시스템 응답속도 : 서버가 사용자로 부터 몇 건의 리퀘스트를 받는가? 서버는 몇 페이지를 제공했는가
- 시스템 정보 : 캐시 적중률은 얼마인지, 몇 개의 예외 또는 오류가 발생했는지
여러 소스에서 로그 처리
- 아래와 같은 서로 다른 계측 스트림으로 부터의 로그가 있을 수 있다.
- 다른 클라이언트(웹, 모바일) 의 로그
- 서버로그
- 사용자별 상태
- 위의 로그들을 통합하려면, 모든 로그에 대해서 키 역할을 할 수 있는 공통 식별자를 사용해야한다.
계측 문화
- 계측은 정말 중요하다. 패널의 장치가 부서진 비행기를 운전한다면 어떤 정보를 신뢰할 수 있는가?
- 문화적 규범 확립 : 계측 없이는 no 배포
- 계측 장치의 테스트 : 기능을 만드는 엔지니어는 필요한 계측을 추가하며 코드 제출 전에 테스트에서 확인
- 가공 전 수집 그대로의 기록 품질을 모니터링 : 주요 관측치 및 지표에서 특이값을 탐지할 수 잇는 도구
'분석 > AB 테스트' 카테고리의 다른 글
12. 클라이언트 측 실험 (1) | 2023.12.23 |
---|---|
11. 관측 인과 연구 (1) | 2023.12.23 |
10. 보완 기법 (1) | 2023.12.23 |
09. 종합 대조 실험의 윤리 (0) | 2023.12.17 |
08. 제도적 기억과 메타 분석 (0) | 2023.12.17 |