06. 조직 운영을 위한 지표

 

- 도입

조직은 지표를 통해 조직이 나아가야 할 목표로 잘 가고 있는지 평가할 수 있다.

 

- 지표의 분류

목표 지표 (성공 지표, 진북(true north) 지표)

목표지표는 조직이 궁극적으로 무엇을 신경쓰는지 보여준다.

목표 지표를 도출하기 위해 원하는 것을 단어로 표현(ex. 제품의 존재 이유는? 조직의 성공은 무엇인가?)해보면 좋다.

이에 대한 답은 조직의 미션과 결부된다. - ex. 숨고 : 연결

 

목표 지표는 조직이 정말로 신경쓰는 것의 대용물로서 시간이 지남에 따라 반복적으로 개선할 필요가 있다.

지표(ex. IC)와 목표(ex. 연결)의 표현간의 간극을 이해하도록 하는 것은 조직을 올바른 방향으로 이끄는 데 중요하다.

 

목표 지표는 궁극적 성공을 가장 잘 포착하는 단일/작은 지표의 집합 → 각 액션이 지표에 미치는 영향이 작거나 오랜 시간이 걸릴 수 있다.

 

동인 지표 ( 사인 포스트 지표, 대리/간접 지표, 예측 지표)

동인 지표는 목표 지표보다 단기적이고 더 빠르게 움직이며, 더 민감한 지표인 경향이 있다.

동인 지표는 목표 지표와 논리적 인과관계로 연결되어 있다.

 

아래와 같은 프레임워크는 성공으로 이어지는 단계를 세분화할 수 있다.

• HEART : 행복, 참여, 획득, 유지, 작업 성공
• AARRR : 획득, 활성, 유지, 추천, 수익 / User Funnel

 

가드레일 지표

비즈니스를 보호하는 지표인 가드레일 지표는 중요한 제약을 위반하지 않고, 성공으로 나아가기 위해 중요하다.

ex. 신규 사용자 등록 vs 사용자당 참여 수준 / 보안 vs 사용성 및 접근성

가드레일 지표는 종종 목표, 동인 지표보다 더 민감하다.

 

기타 분류법

• 자산 대 참여 지표
  • 자산 지표 : 총 페이스북 사용자 수(계정) 또는 총 연결 수와 같이 정적인 자산의 축적을 측정
  • 참여 지표 : 세션 또는 페이지뷰와 같은 사용자 행동 결과 또는 다른 사용자의 제품 이용에 의해 받는 가치를 측정
• 비즈니스 대 운영 지표
  • 비즈니스 지표 : 비즈니스의 상태를 추적 - 사용자당 매출, 활성 사용자 수
  • 운영 지표 : 운영상의 문제가 있는지를 추적 - 초당 쿼리

 

조직의 지표를 정의하는 과정은 목표 표현과 논쟁/조정을 통해 지표에 대한 이해도를 높이고
이해관계를 일치시킨다는 점에서 그 자체만으로도 효용성이 있다.

각 팀별 지표가 회사 전체의 목표와 어떻게 연결되어있는지에 대한 가설과 목표가 필요하며,
전체적인 목표와 전략적 방향에 각 팀의 지표를 일치시키는 것이 중요하다.

동일한 지표가 팀마다 다른 역할을 하게 될 수도 있다.
(ex. 성능 지표가 기능 구현 팀에서는 가드레일 지표일 수 있지만, 인프라팀에서는 목표 지표가 될 수 있음)

 

- 지표의 공식화

목표 및 동인 지표를 개발하는 주요 원칙

목표 지표

• 단순함 : 이해당사자가 쉽게 이해하고 폭넓게 수용할 수 있어야 함.
• 안정성 : 새로운 기능을 출시할 때마다 지표를 업데이트할 필요가 없어야 함.

 

동인 지표

• 목표와 이해 관계 일치 여부 : 동인 지표가 성공 지표의 동인인지 검증되어야 함.
• 행동 가능 및 관련성 여부 : 팀원들이 지표를 움직이기 위해 액션을 떠올리고 취할 수 있다고 느껴져야 함.
• 민감성 여부 : 선행지표로서 대부분의 액션을 통한 영향을 측정할 수 있는지 확인되어야 함.
• 조작에 대한 내성 여부 : 성공을 측정할 때 쉽게 조작되도록 만들면 안됨.
  • 수치적인 목표를 부여했을 때 인간은 상당히 독창적일 수 있고, 특히 그것이 보상과 연결될 때 더 그러함
    • 닭고기 효율성 지표
    • 낮은 재고율 지표
    • 단기 매출 지표
    • 허영 지표

 

지표 개발을 위한 기법 및 고려사항

• 품질을 고려
  • 금방 이탈해버리는 나쁜 클릭, 충분한 정보를 입력한 좋은 등록
• 지표 정의에 통계쩍 모델을 통합할 때, 모델을 해석 가능한 상태로 유지하고 꾸준히 검증하기
  • 예측 생존 확률을 기준으로 LTV를 계산하는 경우, 생존 함수가 너무 복잡할 경우 이해관계자로서 승인받기 어려울 수 있고, 지표의 하락이 보였을 때 구체적인 원인을 파악하기도 어려울 수 있음
• 부정 지표
  • 때로는 사용자 불만족 등 원치 않는 것을 측정하는 것이 원하는 것을 측정하는 것보다 쉬울 수 있음
    • 사용자 만족 여부를 판단할 때, 사용자의 체류 시간을 본다면
      • 체류 시간이 길더라도 만족을 해서 긴 것인지 답을 못찾아서 헤매는 것인지 알 수 없지만
      • 체류 시간이 짧다는 것은 확실히 불만족으로 해석할 수 있음
• 추가 지표 생성
  • 단순 CTR만 보는 경우 클릭베이트를 증가시킬 수 있음 → 추가적인 평가 지표 도입으로 클릭베이트에 주어지는 좋은 지표 평가를 상쇄할 필요가 있음

 

- 지표의 평가

지표 평가의 예시

• 새 지표를 추가하기 전에 기존 지표와 비교해서 추가 정보를 주는지 평가
• LTV 지표는 시간 경과에 따라 평가해서 예측 오류가 작게 유지되는지 평가
• 지표의 조작가능성이 있는지 평가
• 동인 지표의 목표 지표에 대한 인과관계를 평가
  • 평가하기 위한 방법
    • 설문조사, 포커스 그룹, 사용자 경험 연구 등의 데이터 소스를 활용해 지표들이 같은 방향을 가리키는지 점검
    • 다른 업체/서비스를 벤치마크 - 연구 사례(ex. 사이트 속도와 매출/참여도 간의 영향에 대한 연구)
    • 실험 - 동인 지표가 올랐을 때 목표 지표가 올라가는가?
    • 과거의 실험 사례를 활용

 

- 지표의 진화

지표의 정의는 시간이 지남에 따라 진화한다.(해야 한다.)
특히 개념은 유지되더라도 상세한 정의는 바뀔 수 있다.

변화는 다음과 같은 이유들로 발생할 수 있다.

• 비즈니스 진화
  • 사업의 초점이 고객 획득에서 참여 및 유지로 전환되는 경우
  • 사용자층이 변화한 경우
    • 지표를 계산하거나 실험하거나 자료를 참고할 때, 데이터는 모두 기존의 사용자층으로부터 얻어졌다는 점을 유의
    • 스타트업 초기에 유입된 얼리 어답터들은 기업이 장기적으로 추구하는 사용자층을 대변하지 못할 수 있음
• 환경 진화
  • 경쟁 구도의 변화, 사회 문화의 변화(ex.개인정보에 대한 민감도 증가), 정부 정책의 시행
• 측정 기준에 대한 이해의 진화
  • 조작 가능성 등이 사후에 발견되거나, 지표를 더 세분화 & 변경하는 니즈가 발생한 경우