<인과추론> 3. 보충) 잠재 결과 프레임워크 / 인과추론의 가정 / 편향과 ATT&ATU&ATE

|

1. 잠재적 결과 프레임워크와 가정

Potential Outcome Framework

“Neyman-Rubin Causal Model”

  • Counterfactual = 관측되지 않은 사실 = 반사실적 사실
  • 이론적인 Causal effect = (Actual outcome if treated) - (Potential outcome if not treated)
  • 현실에서는, 한 사람이 동시에 두 가지 상태를 관측할 수 없다. 따라서
    • 관측되는 Causal effect = (Actual outcome for treated if treated) - (Actual outcome for untreated if not treated)
  • 이때, 이론에서의 Potential outcome if not treated와 현실에서의 Actual outcome for untreated if not treated가 같을 수는 없다.
    • 이 둘을 다르게 하는 요인을 편향(선택 편향, selection bias)라고 부르고 이 편향을 없애기 위한 과정을 식별(identification)이라고 한다.

일반적으로 전체 그룹에서 식별된 인과효과를 ATE라고 한다. 인과 추론의 고도화된 목적은, 전체에 대한 평균 처치 효과가 아닌, 개인에게의 처치 효과까지를 추론해내는 것 (=개인화)

ATE → CATE(Conditional ATE) / HTE(heterogeneous) → ITE (Individual)


PO Framework에서 인과효과를 식별하기 위한 가정들

Assumption 1. SUTVA (Stable Unit Treatment Value Assumption)

  • 1-1. Counterfactual consistency
    • $Y = Y(1) if T=1, Y=Y(0) if T=0$
    • $T_i$를 받은 unit의 관측된 $Y_i$는 $T_i$에 대한 잠재 결과와 같다.
    • 즉, 실제 관측되는 결과와 잠재 결과는 같다.
    • ex) 만약 신약을 처치 받았는데 복용을 안 하거나 제대로 투여되지 않았다면 가정에 위배
  • 1-2. No Interference
    • 한 unit의 잠재 결과는 다른 unit의 처리 여부나 잠재 결과에 의해 영향을 받지 않아야 한다.
    • = no spillover effects
    • ex) A가 백신을 맞았는데 집단 면역의 효과로 함께 거주하는 B의 결과에 영향을 미쳤다.

Assumption 2. Ignorability assumption

[Y(t)\perp T|X, t=0,1]

  • =unconfoundedness
  • = selection on observables
    • 주어진 X값에 대해 통제했을 때 조건부 독립임을 의미
  • 사실 더 강한 NUC(No Unmeasured Confounders) Assumption이 있다. 다만 이는 현실성이 떨어지는 가정이기 때문에 weak version인 ignorability assumption으로 대체함
    • = 모든 교란변수는 X에 포함되어있다는 가정

Assumption 3. Positivity

  • 모든 X 값에 대해, 처치를 받을 확률은 0 이상이어야 한다.

위 가정들이 만족되어야만 인과효과를 식별할 수 있다.


2. ATT, ATU, and ATE

  • ATE: ATE in the total population
  • ATT: ATE in the subpopulation where T = 1
  • ATU: ATE in the subpopulation where T = 0

ATE는 처치를 받은 집단과 받지 않은 집단 모두에서의 평균 처치 효과이다. 그럼 우리가 실제로 구하게 될 인과 효과는 ATE일까 ATT일까?

앞서 배운 것처럼, 추정된 효과는 아래와 같이 분해할 수 있다.

[\underbrace{E[Y_1-Y_0|T=1]}{\text{ATT}} + \underbrace{{E[Y_0|T=1] - E[Y_0|T=0]}}{\text{편향}}]

  • 여기서 selection bias를 없앤다면 남는 것은 ATT 이다.
  • 즉, ceteris paribus를 만족하는 control group을 활용해서 구할 수 있는 인과 효과는 ATE가 아니다!


그럼 언제 ATT가 ATE와 같아지는가?

  • ATE는 ATT와 ATU의 가중 평균이다.
    • $ATE = \pi ATT + (1-\pi) ATU$
    • $ATT = ATT + ATE - ATE$
      • $ATT = ATE + (1-\pi) (ATT- ATU)$
  • 위 에서 본 인과 효과 식에 대입해보면
    • Observed effect of treatment = ATT + selection bias
      • = ATE + (1-pi) (ATT - ATU) + Selection bias
      • 이때, ATT와 ATU의 효과 차이에 대한 bias를 Differential Treatment Effect bias 라고 한다
  • 즉, 정말로 관측된 효과가 ATE가 되려면 이 두 bias가 모두 0이 되어야 한다.
    • Differential Treatment Effect Bias가 0이 되려면? (1-pi)는 0이 될 수 없다.
    • ATT = ATU가 같아야만 한다.
    • 즉, control 과 treatment 그룹의 특성이 매우 유사해서 인과적인 효과가 같을 때에만 ATT=ATE=ATU가 될 수 있다.
    • =Exchangeability = Ceteris Paribus (=RCT에서의 효과)


그럼 ATT 자체로는 의미가 없을까?

  • 할인쿠폰이 매출 증대에 미치는 효과를 알고자 한다. 이때 쿠폰을 받은 그룹이 처치 그룹이 된다.
  • 이때 인과효과를 구한다고 하여 ATT를 구한다고 하더라도, Control group에 쿠폰을 제공한다면? 그렇지 않을 가능성이 높다.
    • 왜? Control group은 쿠폰에 대한 반응성이 낮을 것이기 때문에
  • 따라서 ATE <> ATT일 것이다. 그럼에도, 회사 입장에서는 ATE가 필요하지 않을 수 있다.
    • 왜? 쿠폰에 대한 반응성이 높은 유저에 대한 효과인 ATT만 알아도 충분할 수 있다


정리하면 다음과 같다.

  • 우리가 인과효과를 추정할 때 얻는 효과는 ATT이다.
  • 실제로 추정하고자 하는 효과가 ATT인지 ATE인지 확실히 할 필요가 있다.
  • ATE를 추정하고자 한다면, Ceteris Paribus를 만족해야 한다.
    • 이 때에만, ATT=ATU=ATE


3. 참고 자료

<인과추론> 2. 편향과 인과추론의 식별, 추정

|

1. 편향이란?

편향(bias)은 인과관계와 연관관계를 다르게 만드는 요소이다. 편향을 이론적으로 이해하기 위해 수식으로 표현해보자. 이를 위해 관측 데이터에서의 연관 관계를 먼저 수식으로 표현해보고, 실제 이론상의 인과 관계와 어떤 부분이 다른지 비교하는 방식을 택한다.

관측 데이터에서의 연관 관계

이전 글에서 보았던 크리스마스 할인이 회사의 판매량 차이에 미친 영향을 파악하기 위한 사례를 들어보자.

  • 우리가 잘못된 방식으로 집계하려고 했던 인과 관계는 다음과 같다. 이때 실험군의 관측된 결과는 $Y_1$ 이고, 대조군의 결과는 $Y_0 이다.$

[\begin{align} ATE = E[Y|T=1] - E[Y|T=0]\ = E[Y_1|T=1] - E[Y_0|T=0] \end{align}]

  • 여기서 실험군의 반사실적 결과를 더하고 뺀다

    \[E[Y_1|T=1] - E[Y_0|T=1] + E[Y_0|T=1] - E[Y_0|T=0]\]
  • 식의 순서를 바꾸고 기대값을 합치면 다음과 같다

    \[\underbrace{E[Y_1-Y_0|T=1]}_{\text{ATT}} + \underbrace{\{E[Y_0|T=1] - E[Y_0|T=0]\}}_{\text{편향}}\]

위 편향식이 시사하는 바를 잘 기억하자.

  • 연관관계는 ATT에 편향을 더한 값과 같다.
  • 편향은 처치와 관계없이 실험군과 대조군이 어떻게 다른지에 따라 다르다.
    • 즉, 수많은 요소가 처치와 함께 변화하므로 이러한 편향을 만들어내고, 앞선 크리스마스 할인 예시에서는 회사의 규모, 위치, 경영 방식, 할인 시기 등 여러 요소들이 데이터에 편향을 만들어내고 있을 것이다.


2. 인과효과 식별과 추정

인과추론의 근본적인 문제는 동일한 실험 대상이 ‘처치’를 받은 상태와 받지 않은 상태를 동시에 관측할 수 없다는 점이다. 그리고 이러한 제약 속에서 우리에게 주어진 관측 데이터를 통해 실제 인과 효과를 추정하는 것이 인과 추론의 목적이라고 할 수 있다.

위 목적을 이루기 위한 인과추론의 과정은 크게 두 가지로 분류된다.

  1. Identification (식별): 관측 가능한 데이터로 인과 추정량을 표현하는 방법을 알아내는 단계
    • 특정한 가정이 충족될 경우, 인과효과를 통계적으로 추론할 수 있는가?
  2. Estimation (추정): 데이터를 활용해서 식별한 인과 추정량을 추정하는 단계
    • 주어진 데이터에서 우리가 원하는 인과효과를 실제로 계산할 수 있는가?

특히 식별 단계는 편향을 없애는 과정으로도 볼 수 있는데, 만약 편향이 없어진다면 연관 관계는 인과 관계가 된다. 즉, $E[Y_0|T=0] = E[Y_0|T=1]$의 의미는 어렵게 생각할 것 없이 대조군과 실험군이 비교 가능함을 의미한다. (= exchangeability, ceteris paribus, all other things being equal)

결국 앞으로 배울 인과추론에서 가장 중요한 것은,

  • 어떻게 1) 인과 효과를 식별하고 2)효과를 추정할 것인가를 결정하는 일이다.
  • 특히 앞으로 배우게 될 여러 내용들은 인과 효과를 어떻게 식별할 것인가?에 중점을 둔다.
    • 인과효과를 식별한다는 것은 편향을 제거하여 대조군과 실험군이 교체 가능한(=exchangeable) ceteris paribus 상태로 만든다는 것이고,
    • 그렇기 때문에 흔히들 A/B Test라고 부르는 RCT(Randomized Controlled Trial)가 실제 인과 효과를 추정하기 위한 “Golden Standard”로 불리는 것이다. 왜? 별다른 어려운 설계 없이도 대조군과 실험군이 균등하게 분배된 ceteris paribus 상태를 만들 수 있기 때문이다.
    • 그럼 이러한 RCT가 불가능한 상황에서는 어떻게 할까?


3. 인과추론의 위계 맛보기

인과추론의 위계는 다음과 같다. 250529_hierarchy.png

  • Meta Analysis를 제외하면 RCT는 인과추론의 최상위 위계로 존재하고, 실제 실무적으로도 가장 많이 쓰이는 기법이다.
  • 모종의 이유로 RCT를 실시하지 못했다면, 그 다음은 머리를 쥐어 짜내어 도메인에서 활용할 수 있는 모든 조건들을 고려해 어떤 방법론으로 인과효과를 ‘식별’할 것인지 정해야 한다.
    • 여기에는 DiD (Difference-in-DIfferences), RDD (Regression Discontinuity), SCM (Synthetic Control Method)와 같은 방법론들이 있고, 도구변수 IV 를 활용하여 효과를 식별하는 방법들, PSM을 활용해 두 그룹을 유사하게 만들어주는 매칭 기법, ML 기반의 추론 기법 등 다양한 방법론들이 존재한다.
  • 위 복잡한 방법론들이 싫으면 다 RCT로 진행하면 되는 거 아닌가 싶지만 조직의 데이터 고도화 수준에 따라 실험이 아예 불가능하거나 일부 실험만 진행해야 하는 경우도 있고, 실험 환경이 잘 갖춰져있더라도 정책/윤리적인 부분에 관한 A/B 스플릿은 어려운 경우가 많기 때문에 결국 어떤 상황에서 어떤 방법을 내가 활용할 수 있을지를 잘 알아둘 필요가 있다.

이 모든 방법론들에서 공통으로 마음 속에 새겨두면 좋을 것이 있다. 결국에 중요한 것은 내가 변수로 사용하는 데이터들의 관계를 잘 이해하는 것이다. 어떤 요소가 편향을 발생시키는지, 그리고 각 변수들이 어떤 관계를 맺고 있는지를 인과 그래프 등을 통해 표현하는 연습을 해두는 것이 좋다. (기회가 되면 글로 다루겠다) 왜냐하면 결국 인과 그래프가 잘 정리된 데이터라면, 단순한 회귀 모형을 사용해서 편향 요인들을 통제한 뒤 인과효과를 추론해도 되기 때문이다.

벌써부터 너무 많은 것을 알아야 한다는 생각은 하지 말고, 천천히 하나하나 배워서 정리해가자.


4. 참고 자료

<인과추론> 1. 인과추론과 잠재 결과 프레임워크

|
정말 오랜만에 글을 쓴다. 예전에 한창 인과추론을 공부했었는데 따로 블로그에 정리하지를 못했었다. 이번 기회에 다시 배운 내용을 복습하면서 나도 언제든 참고할 수 있도록 양질의 글을 만들어두는 것을 목표로 하려고 한다.
여기에 나온 글은 모두 참고 자료에 있는 내용을 정리한 것입니다.

1. 인과추론이란?

“ 연관관계(Association)는 인과관계(Causation)이 아니다. “

연관 관계는 두 개의 수치나 확률변수가 같이 움직이는 것이고, 인과관계는 한 변수의 변화가 다른 변수의 변화를 일으키는 것이다. 인과추론이란 연관관계로부터 인과관계를 추론하고, 이 값이 언제 어떻게 다른지 이해하는 학문이다.

“ No causation without manipulation. ”

그럼 인과추론의 목적은 무엇일까? 인과추론은 오롯이 현실을 이해하기 위해서 존재한다. 즉, 원인에 개입하여 내가 원하는 결과를 만들어내기 위해서 원인과 결과의 관계를 알아내는 것이다. 실제 실무에서도 “액션을 위한 분석”이 중요하고 결국 이 분석을 통해서 제품(=서비스)의 변화가 어떤 결과를 가져왔어요?에 대한 답을 제시하는 것이 중요하기 때문에 이 목적은 계속 마음에 품고 가져가면 좋을 것 같다.

  • How does fertilizer affect crop yields?
    • → How would crop yields change if we change the amount of ..
  • How does education affect income?
    • → How would income change if we change the amount of ..

연관관계와 인과관계의 예시로 다음의 상황을 가정해보자.

어린이 장난감을 판매하는 기업이 크리스마스 기간 전에 할인을 하는 것이 좋을지 정가에 판매하는 것이 좋을지 의사결정을 하려고 한다. 다행히 나에게는 참고할 수 있는 과거 데이터가 존재한다

이를 인과추론 용어로 풀어보면 할인 여부(is_on_sale) = T주간 판매량(amount) = Y 에 미치는 효과를 파악하고자 하는 것이다.

그럼 실제 데이터를 보기 위해, T에 따른 Y 값들을 박스플롯으로 그려보면 어떻게 될까?

250323_boxplot.png

  • 이렇게만 보면 할인을 한 (On Sale) 상점들의 판매량이 더 많았던 것처럼 보인다. 하지만 조금 더 깊이 생각해보면, 대기업일수록 할인을 할 수 있는 여유가 있기 때문에 할인 기업들의 판매량이 더 높게 집계되었을 수 있다.
  • 그리고 현실에서도, 많은 사람들이 위와 같은 관측 데이터(혹은 직관)를 가지고 잘못된 판단을 하고 있을 확률이 높다. 아래 예시들을 곰곰이 생각해보자.
    • 여름철에 아이스크림 판매량이 증가하면 익사 사고도 함께 증가한다.
    • 손글씨 연습을 하면 학생들의 성적이 오른다.
    • 행운의 부적을 가지고 있는 학생들은 성적이 더 오른다.

사실 이와 같은 문제를 쉽게 해결하려면, 동일한 회사가 동일한 조건에서 할인을 한 상황과 그렇지 않은 상황을 동시에 관측하여 실제 효과를 추정하면 된다. 하지만 평행 우주에서 데이터를 관측하고 돌아오지 않는 이상 이것이 불가능하다는 것을 우리 모두는 알고있다.


2. 잠재 결과 프레임워크와 인과 효과

잠재 결과 프레임워크(Potential Outcome Framework)란 인과추론에서 널리 사용되는 방법론으로, 개입이 결과에 미치는 효과를 평가하는 데 사용된다. 이름에서 짐작할 수 있듯이 “만약 이랬다면 결과가 어떻게 바뀌었을까?”라는 생각을 체계화 한 것이다.

우선, 인과추론의 용어를 익히고 가자.

  • 처치 (Treatment, T 또는 D): 구하려는 효과에 대한 개입
  • 결과 (Outcome, Y) : 영향을 주려고 하는 변수
  • 즉, 인과추론의 목표는 T가 Y에 미치는 영향을 학습하는 과정

만약 내가 어제 공부를 더 했더라면 오늘 시험 점수가 더 높아졌을까? 라는 생각에서 아래와 같은 개념들이 존재한다.

  • 사실적 결과 (Factual Outcome)
    • 처리 T가 1일 때의 잠재적 Y
    • = 관측할 수 있는 잠재 결과
    • = 어제 공부를 한 나의 시험 결과
  • 반사실적 결과 (Counterfactual -)
    • 처리 T가 0일 때의 잠재적 Y
    • = 관측할 수 없는 다른 결과
    • = 어제 공부를 하지 않은 나의 시험 결과

이때,

  • $Y_{1i}$를 실험 대상 i가 처치 받은 잠재 결과
  • $Y_{0i}$를 실험 대상 i가 처치 받지 않은 잠재 결과라고 할 때,
  • 잠재 결과 $Y_i = T_iY_{1i} + (1-T_i)Y_{0i} = Y_{0i} + (Y_{1i} - Y_{0i})T_i$ 로 표현할 수 있고,
  • 개별 유닛에 대한 인과 효과 ITE(Individual Treatment Effect)는 다음으로 정의된다.

    \[\tau_i = Y_{1i}-Y_{0i}\]
이 식이 성립하기 위한 몇 가지 조건이 존재하는데, 이는 별도 글에서 다루도록 하겠다.


하지만 현실 세계에서 개별 유닛에 대한 잠재 결과를 관측한다는 것은 불가능하다. 따라서 집단의 평균 개념으로 문제에 접근한다. 우선 아래 세 개념을 익혀두도록 하자.

  • 평균처치효과(ATE, Average -): 처치 T가 Y에 평균적으로 미치는 영향

[ATE = E[\tau_i] =E[Y_{1i} - Y_{0i}] = \frac{\partial}{\partial t}E[Y_i]]

  • 실험군에 대한 평균처치효과(ATT, ATE on the treated): 처치 받은 대상에 대한 평균 처치효과

    \[ATT = E[Y_{1i} - Y_{0i} | T=1]\]
  • 조건부 평균처치효과(CATE, Conditional ATE): 공변량 X를 갖는 그룹에 대한 처치효과

    • ex) 신기능 A는 신규 가입 유저의 리텐션을 얼마나 상승시켰을까?
    \[CATE = E[Y_{1i} - Y_{0i} | X= x]\]


3. 현실 세계에서의 인과 효과

실제 예시를 통해 처치 효과를 계산해보자.

우리가 평행 우주의 데이터를 모두 관측할 수 있어서, 아래와 같은 완전한 데이터를 보유한 상황을 가정할 것이다. (현실에서는 y0 또는 y1 둘 중 하나의 값만 관측할 수가 있다)

y0 y1 t (할인 여부) x (크리스마스까지 남은 시간, 공변량) y (판매량) te (처치효과)
200 220 0 0 200 20
120 140 0 0 120 20
300 400 0 1 300 100
450 500 1 0 500 50
600 600 1 0 600 0
600 800 1 1 800 200
  • ATE: te의 평균 = 65
    • 가격할인(T)을 하면 평균적으로 판매량(Y)을 65개 늘린다고 해석할 수 있다.
  • ATT: t가 1일 때 te의 평균 = 83.33
    • 가격할인(T)을 한 회사는 평균적으로 판매량(Y)이 83.33개 증가했다.
  • CATE(x=1) : x =0 일 때의 te의 평균 = 22.5
    • 크리스마스 주간(x=0)에 가격을 할인(T)했을 때 판매량이 평균 22.5개 증가했다.


이제 현실로 돌아와 실제 데이터로 동일한 효과를 추정한다고 가정해보자.

y0 y1 t (할인 여부) x (크리스마스까지 남은 시간, 공변량) y (판매량) te (처치효과)
200 - 0 0 200 -
120 - 0 0 120 -
300 - 0 1 300 -
- 500 1 0 500 -
- 600 1 0 600 -
- 800 1 1 800 -

글의 처음에서 봤던 것처럼, 그냥 실험군의 평균과 대조군의 평균을 비교하면 안 될까?

  • ATE = $E[Y|T=1] - E[Y|T=0] = E[Y_1|T=1] - E[Y_0|T=0]$
    • = (t=1일 때의 평균) - (t=0일 때의 평균) = 426.67 ?

이는 연관 관계를 인과 관계로 착각하는 중대한 오류이고, 절대 이런 식으로 사고해서는 안 된다.

  • 실제로 할인한 회사(t=1)와 그렇지 않은 회사(t=0)가 다르고, 평행 우주 데이터를 보면 실험군의 Y0가 대조군보다 훨씬 높은 것을 확인할 수 있다. 즉, 할인을 하는 가게들은 대부분 애초에 판매량이 높은 가게가 많다.

이처럼 인과관계와 연관관계를 다르게 만드는 요소를 편향(bias)이라고 부르는데, 쉽게 이해해보자면 데이터에 영향을 주고 있는 요인들이라고도 할 수 있겠다. 앞서 봤던 예시에서, 편향에 대한 요소를 정성적으로 표현해보면 다음과 같다.

여름철에 아이스크림 판매량이 증가하면 익사 사고도 함께 증가한다.

  • 아이스크림 판매량이 증가했다면 기온도 높았을 것이다. 기온이 높았기 때문에 수영을 하는 사람들이 늘어나 익사 사고도 증가하지 않았을까?

손글씨 연습을 하면 학생들의 성적이 오른다.

  • 손글씨를 잘 쓰는 학생들은 대개 정리하는 습관이 잘 들여진 학생이었을 가능성이 높아 보인다. 손글씨 연습을 하면 성적이 오른다는 것은 잘못된 가정같다.

행운의 부적을 가지고 있는 학생들은 성적이 더 오른다.

  • 좋은 성적을 받기를 간절히 희망하는 학생들일수록 부적과 같은 미신을 믿을 가능성이 높지 않을까? 부적이 성적을 올려주는 게 아니라, 이미 간절함을 가진 노력/성실 학생들이 부적을 소지하고 있을 것 같다.


다음 글에서는 편향과 인과추론의 식별/추정 개념에 대해 알아보겠다.


4. 참고 자료

<분석방법론> AARRR 분석 파헤치기

|
오랜만에 작성하는 글이다. 데이터 분석에서 AARRR을 토대로 하는 분석 방법이 많이 언급되는데, 도대체 뭐길래 그럴까? 이번 글에서 자세히 알아보자.

1. AARRR이란?

AARRR이란 미국의 스타트업 액셀러레이터 500 Startups의 창립자 데이브 맥클루어(Dave Mcclure)가 고안한 마케팅 분석 프레임워크로써 일종의 퍼널 분석이다. 이 분석법을 활용하여 각 단계별로 움직이는 고객들을 나누어 분석하고, 여러 문제점을 관리할 수 있게 된다.

이름에서 유추할 수 있는 것처럼 고객의 라이프사이클을 다섯 단계로 나누고, 이들의 앞글자를 따서 만들었다. 각각의 의미는 다음과 같다.

  • Acquisition 유입/획득: 고객이 웹/앱으로 유입되는 단계
  • Activation 활성화: 고객이 실제로 반응을 하는가. 사용자들의 첫 번째 “행복한” 방문 경험을 측정하는 단계
  • Retention 유지: 고객들이 다시 돌아오는가
  • Referral 리퍼럴/바이럴: 고객들이 제품을 다른 고객들에게도 추천해주는가
  • Revenue 수익: 이러한 고객의 활동들이 매출로 이어지는가

AARRR은 해적 지표(Pirate Metrics, Pirate Funnel)라고도 불리는데 데이브가 AARRR에 대하여 발표한 이 영상을 보면 그 이유와 AARRR 전체 발표를 들을 수 있다. (AARRR을 이어서 발음하면 아ㄹㄹ~처럼 해적이 내는 소리가 나서..)

AARRR

2. 단계별로 살펴보기

그럼 각 단계별로 어떤 내용들을 살펴봐야할까?

Acquisition

고객이 최초로 서비스로 유입되는 단계를 의미한다. 고객들은 여러 채널을 통해 서비스로 유입을 하게 되는데 여기서 중점적으로 봐야하는 내용들은 다음과 같다.

  • 가장 많이 유입되는 채널은 어디인가? (largest-volume #)
  • 가장 저렴한 채널은 어디인가? (lowest-cost $)
  • 가장 효과가 좋은 채널은 어디인가? (best-performing %)

즉, 서비스로 유입되는 고객들이 어디서 얼마나 들어오고, 어떤 채널의 고객들의 가치가 더 높은지를 인지하는 것이다. 이 단계에서 볼 수 있는 지표들은 다음과 같다.

  • DAU / MAU / 신규 유저 등
  • CAC / LTV 등

Activation

고객이 처음으로 접하는 “행복한” 경험을 의미한다. 즉, 서비스의 입장에서 잠깐 스쳐 지나간 고객들은 다 제외하고 어떤 행동을 했을 때 실제로 우리 서비스를 경험했다고 정의할 것인가에 관한 부분이다.

여기서는 내가 원하는 행동을 고객이 활발히 했는가를 측정하게 된다. 예를 들어, 페이스북이라면 일정 개수 이상의 포스트를 읽거나, 좋아요를 누르거나 댓글을 작성하는 것들이 이러한 활성화의 예시가 될 수 있다.

  • 랜딩 페이지 검정이 중요하다
  • 많은 AB 테스트를 하고, 빠르게 반복하라
  • Bounce rate / PageView / avg.PV / DT(duration time) 등을 측정할 수 있다

Retention

고객들이 다시 서비스로 돌아오는가? 재방문에 대한 지표들을 추적하는 단계이다.

  • 이를 높이기 위한 방법들로는 메일링/메시징/푸시알림/… 등 수많은 방법이 있을 것이다
  • Retention&churn rate / 평균 재방문 주기 등을 측정할 수 있다
  • 더 나아가 고객 세그먼트별로 retention의 차이도 볼 수 있다

Referral

고객들 사이에서 서비스에 대한 추천이 발생하는가?

  • Dave는 반드시 서비스에 대한 품질이 보장되었을 때 바이럴 마케팅을 진행하라는 점을 강조한다. (그렇지 않으면 나쁜 퀄리티에 대한 입소문이 나기 때문에)
  • SNS share rate / 사용자 언급 댓글수 등을 측정할 수 있다

Revenue

이러한 고객의 활동이 매출로 이어지는가?

  • ATV (Average Transaction value)
  • IPT (Item Per Transaction)
  • ARPU / ARPPU 등

Example Conversion Metrics

AARRR

AARRR의 다섯 가지 단계는 위의 표처럼 나타낼 수 있다. 즉, 고객이 최초 유입되는 시점부터 매출이 발생하기까지의 과정을 말그대로 퍼널로 표현하되, 그러한 기준들을 내 서비스에 적합하도록 명확히 선정하여 관리하는 것이다.

다섯 가지 단계이지만 각 단계별로 여러 지표를 선정하는 등 다양하게 서비스의 용도에 맞게 사용하면 된다.

3. AARRR, 이렇게 활용해라 (by Dave)

AARRR은 스타트업을 위한 메트릭으로 고안되었다. 이미 나온지 15년(..!)이나 된 개념이지만 여기에 스타트업들이 갖춰야 할 행동 양식이 다 담겨있다고 본다. Dave가 강조한 부분들을 정리해보았다.

  1. 마케팅 측면에서
    • 여러 마케팅 채널을 설계하고 테스트하라
    • high volume, high conversion, low cost 채널을 선택하라
    • 랜딩 페이지 뿐 아니라 더 깊게 측정하라
    • 가장 low한 레벨에서 채널과 고객을 세그먼트화하여 측정하고 선택해라
  2. 제품 개발 측면에서
    • 80%의 시간은 기존 제품의 최적화에, 20%의 시간을 새로운 기능 개발에 투자하라
    • 계속해서 가설을 세우고 A/B 테스트를 아주 많이 해라
    • 그리고 전환이 향상되는 것을 측정하라
  3. 설립자들에게
    • 최대한 덜해라. 많이 빼라
    • 하지만, 반드시 측정하고 반복하라
    • 전환의 향상에 집중하라
    • 고객의 라이프사이클에 대한 가설을 세우고 이를 고도화하라
    • 지표를 개발하라

이 내용들을 보면 현재의 서비스 기업들에서 BA, DA, 또는 그로쓰 관련 직무에서 하고 있는 업무와 별 차이가 없다는 것을 알 수 있다.

결국 내가 생각하는 핵심은 이런 것 같다.

1) 시간의 흐름에 따라 비교하며 수치적 변화를 분석할 수 있는 측정 가능한 프레임 워크를 만들고, (여기서는 AARRR)

2) 이러한 분석을 전체 level 뿐 아니라 더 drill down해서 쪼개어 깊은 단계에서 보고,

3) 각 스텝별 지표를 측정하며 bottleneck과 drop-off가 있는 부분들을 찾아 여러 실험을 반복해서 빠르게 진행하며 지표의 개선을 확인해라

4. AARRR, 어떻게 적용할까

AARRR을 기계적으로 활용하기 보다는 정말로 내 서비스를 사용하는 고객들의 사이클을 분석한다는 관점으로 접근해야 좋은 지표들이 나올 수 있다. 일단은 내가 관찰한 데이터와 경험을 토대로 서비스의 사이클을 AARRR으로 녹여내고, 세부 단계별로 전환율을 측정하면서 스텝별로 놓친 부분이 있는지 확인하는 것도 하나의 방법이 될 수 있다.

전체 사이클을 세웠다면, 이제 계속해서 전환을 측정하고 비교해야 한다. 지금 가장 전환이 떨어지는 구간은 어디인가? 해당 부분에 대한 개선을 진행했을 때, 실제로 전환이 높아졌는가? 전환이 떨어지는 여러 단계 중, 어느 단계를 극복하면 가장 큰 효과를 가져올까? 이러한 질문들을 검증하기 위해 가설을 세우고, AB 테스트를 진행하게 된다.

전체적인 전환 지표를 점검했다면? 더 향상시킬 부분은 없을까? 이제 고객을 세그먼트화하여 개별 고객 그룹에 대한 지표를 비교할 수도 있다. 이 그룹은 전체적으로 전환이 떨어지는데 향상시킬 수 있는 방법은 없을까? 20-30대 여성 그룹은 전체 지표가 가장 좋은데, 이들을 메인 타겟으로 여러 이벤트를 진행할 수 있겠구나.

결국 AARRR은 내 서비스를 이용하는 고객의 라이프사이클을 잘 정리해서, 개별 스텝을 효율적으로 바꾸는 작업이라고 생각한다. AARRR이 가져다주는 가장 큰 이점은, 이러한 복잡해보이는 라이프사이클을 ‘AARRR’이라는 단계로 구분지은 것이고, 매 단계를 측정하고 최적화할 수 있도록 프레임을 제공해주는 것이다. 특히 한 번에 하나의 지표(OMTM)에 집중하여 사용하기 쉽게 해준다.

AARRR은 스타트업이 가장 중요한 성장 지표를 찾을 수 있도록 도와주는 아주 간단한 프레임워크이다. 이는 고객의 라이프사이클을 단순화하고 일정한 목표를 가도록 해준다. 즉, bottleneck과 drop-off를 찾아서, 퍼널을 최적화하고 고객의 가장 중요한 행동들을 기록할 수 있다.

5. 마치며

AARRR에 대해 정리해두었던 내용을 드디어 글로 옮겼다. 😀 조금 더 구체적인 글을 쓰려고 했었는데 쓰다보니 전반적인 개념에 대해서만 훑는 글을 쓰게 된 것 같다.

그래도, 원하는 바는 다 전달한 것 같아 홀가분하다.

다음 글은 어떤 분야가 될지 모르겠는데, 너무 늦지 않게 또 써보려고 한다 !

6. 참고 글

<분석방법론> RFM 분석 파헤치기

|
지난 글에서 다루었던 코호트 분석에 이어서, 이번에는 고객 분류의 한 종류인 RFM 기법에 대해 알아보자! 😎

1. RFM 분석이란?

RFM 분석은 고객의 가치를 분석하기 위한 기법으로, 정확히 말하면 고객을 R-F-M의 차원에서 등급을 매기는 분석을 의미한다. RFM 분석은 Optimal Selection for Direct Mail(1995)이라는 이메일 캠페인에 관한 논문에서 최초로(?) 다뤄졌다고 알려져 있다. 다만 이미 논문에서도 RFM 기법을 최초 소개하는 것이 아닌, 이미 널리 쓰이고 있다고 언급하기 때문에 실제 쓰임은 더 오래되었을 것이다.

대표적인 RFM의 구현법에서, R-F-M은 각각 다음을 의미한다. R이 가장 중요하다고 여겨지며, 그 다음이 F와 M이다.

  • Recency: 고객이 얼마나 최근에 구매를 했는가?
  • Frequency: 고객이 (주어진 기간 동안) 얼마나 자주 구매를 했는가?
  • Monetary: 고객이 (주어진 기간 동안) 구매에 얼마를 지출하였는가?

이미지 출처: https://clevertap.com/blog/rfm-analysis/ RFM Table

즉, RFM 분석(RFM Analysis / RFM Scoring)을 다시 풀어서 설명하자면 각각의 R-F-M 차원에서 개별 고객들이 얼마나 잘 하고 있는지 등급을 매기는 기법을 의미한다. 이 설명이 RFM의 전부일 만큼 RFM은 계산이 간단하고 직관적이다. 이제 RFM 기법을 적용하는 과정을 알아보자.

RFM은 오래된 기법이고 직관적인 방법인 만큼 구현 방식이 다양하게 소개되어있다. 여기서는 가장 일반적으로 받아들여지는 RFM 구현을 소개하고, 아래에서 여러가지 방식들도 소개하겠다.

2. RFM 분석 프로세스

일반적인 RFM 분석은 아래의 프로세스로 진행된다.

  1. RFM 분석의 기본이 되는 데이터를 준비한다. (고객ID, 최근 구매 날짜, 특정기간 내 구매 횟수, 특정기간 내 구매 금액)
  2. R-F-M 개별 등급의 카테고리 수를 정한다. 일반적으로 5개 등급을 부여하는데, 이렇게 되면 각각 5개 등급씩 총 5x5x5=125개의 등급 조합이 생긴다. (이 개별 조합을 셀cell이라고 부른다.)
  3. 이제 개별 고객을 각 등급에 할당해야 한다. 가장 단순하게는, R-F-M 개별에서 점수가 높은 순으로 정렬한 뒤, 5분위로 나누어 가장 높은 등급이 5가 되도록 한다.
    • Recency는 최근 구매 날짜가 가까운 순서로
    • Frequency는 구매 횟수가 가장 큰 순서로
    • Monetary는 구매 총액이 가장 큰 순서로 (또는 구매 평균 금액)
  4. R-F-M에 대해 모두 등급을 할당하면, 이렇게 개별 고객에게 만들어진 조합이 RFM 셀이 된다. ex) 5-1-3, 5-1-4, 1-3-5

여기까지는 RFM 세그멘테이션을 진행하는 방법이고, 더 나아가 마케팅적 적용은 아래의 단계를 거칠 수 있다. 해당 내용은 이 글을 옮긴 내용이다. (원문과 세그멘테이션 구현 방식은 다르므로 주의, 글의 원래 내용은 Arthur Hughes의 Strategic database marketing에서 나온다)

  1. 만약 이메일 마케팅을 진행한다면, 전체 고객 중 테스트 표본을 선발한다. 이 테스트 표본에 대해 RFM 세그멘테이션을 해둔다.
  2. 테스트 표본에 대해 이메일 마케팅을 진행하고 결과(전환과 비용)를 기록한다.
  3. 손익분기점이 되는 응답률, 또는 타겟 비율을 선정한다.
    • 만약 손익분기점이 되는 응답률이 목표라면 응답률은 (응답당 비용/응답당 수익)으로 계산할 수 있다.
  4. 테스트 표본의 RFM 셀별 응답률을 계산하고, 위에서 선정한 응답률보다 높은 셀만 타겟으로 선정한다.
  5. 만약 표본이 전체 고객 집단을 잘 대표한다면 표본의 셀과 전체 고객의 셀은 유사한 결과를 보일 것이다. 따라서 전체 고객에서 RFM 세그멘테이션을 다시 진행하고, 타겟 셀에만 선별적인 이메일 마케팅을 진행한다.

3. RFM 분석의 의미, 한계점

RFM 분석의 기본 아이디어는 파레토 법칙에 있다. 상위 20%의 고객에게서 80%의 수익이 나온다는 부분에 집중하기 때문에 기본적으로는 우수 고객들에게 집중하는 분석이다. 거기에 더하여, 과거 구매 데이터를 기반으로 하기 때문에 구매하지 않는 대다수의 고객들은 마케팅의 대상에서 제외된다.

그럼에도 과거에 널리 쓰였던 이유는 RFM 분석의 쉬운 적용과 직관성에 있다. 구매 데이터만 있다면 누구든 손쉽게 RFM 세그멘테이션을 진행할 수 있고, RFM 각 디멘션이 나타내는 바가 직관적이기 때문이다. 다만 여전히 과거 데이터를 기반으로 분류하는 것에서 그치기 때문에 예측 분석 기법이 발달된 지금은 선호도가 떨어진다고 생각된다.

RFM의 장점은 위에서 언급한 것처럼 명확하기 때문에 몇가지 한계점을 나열하자면 아래와 같다. 출처는 A review of the application of RFM model, 2010.

  • R-F-M 변수간 상호 독립성이 보장되지 않기 때문에 중복(redundancy, double counting) 이슈가 있다. 즉, Frequency가 높은 고객은 자연스레 Monetary도 높기 때문에 변수간 독립성이 성립되기 어렵다.
  • 고객 풀을 나누는 데는 좋은 기법이지만, 마케팅 캠페인에 적용하기에는 훨씬 더 나은 예측 기법이 많다. 왜냐하면 RFM은 결국 구매에 관해 점수를 매기는 것이지 특정 마케팅 전환(ex, 메일의 응답률)에 대한 점수를 매긴 것이 아니기 때문이다.
  • 위와 비슷한데, RFM은 현재 온라인 커머스 시장에 있는 무수한 고객 행동 데이터를 활용하지 못한다. 오직 구매 데이터만을 활용할 뿐이다.
  • RFM을 통해서는 앞으로 새로 등장할 고객들에 대한 예측을 할 수 없다.
  • 산업마다 각 R-F-M이 갖는 중요도가 다르지만 이들이 정량적으로 측정되기 어렵다.

4. RFM 구현의 다양성

RFM 분석은 구현이 쉬운 만큼 구현 방법도 매우 다양하다. 위에서 언급한 A review… 논문에서 이러한 다양한 구현법에 대해 언급해주는데 몇 가지를 알아보고 파이썬을 통해 직접 RFM 세그멘테이션을 구현해보도록 하겠다.

1) 개별 등급을 나누는 방법

개별 등급을 나누는 방법은 크게 두 가지가 있다. Thoughts on RFM scoring, John Miglautsch, 2000을 참고했다.

Customer Quintile Method

위 프로세스에서 소개한 방법으로, 단순히 크기로 정렬하여 20%씩 할당하는 방식이다. 상위 20%는 5등급을, 하위 20%는 1등급을 받게 된다. (RFM에서는 일반적으로 등급이 클수록 좋다)

이 방식은 간편하지만 한계점들이 있다.

  • 일반적으로 구매 빈도(F)는 1회인 고객이 많게는 60%까지도 될 수 있다. 이러한 경우 동일한 행동을 한 고객들이 서로 다른 등급으로 취급될 수 있다. (spill over, bracket creep problem)
  • Relative Sensitivity: 5등급의 고객만 살펴볼 때, 이들은 상위 20%~0%까지라고 표현할 수 있다. 이때, 상위 0%와 20%는 행동값이 크게 다를 수 있는데, 이들이 같은 등급에 묶이는 문제가 발생한다. 마찬가지로, 상위 20%와 4등급의 상위 21% 고객의 행동값은 비슷하지만, 이들을 임의로 쪼개는 경향도 발생한다. 이를 논문에서는 상대적 민감성이라고 표현한다.

Behavior Quintile Method (by John Wirth)

고객의 행동값을 기준으로 5분위수를 만드는 방법이다. 논문에서는 위에서 소개한 고객 5분위수 방법처럼 정렬을 하되 등급간 Monetary의 합이 같도록 비율을 조정한다고 나와있는데, R-F-M 각각의 설명에서는 분류한 방식이 약간씩 다르다. 글에서는 각각의 설명을 따르도록 하겠다.

Recency 일반적으로는 달력 기반 방식을 쓰는 게 선호된다. Wirth는 0-3개월/4-6개월/7-12개월/13-24개월/25개월이상의 Recency 등급을 제안했다.

Frequency 그럼에도 여전히 구매 빈도(F)가 문제가 된다. 여기서 Ted Miglautsch가 새로운 기법을 제안하는데, 이 프로세스는 아래와 같다.

  1. 1회 구매자들에게는 1등급을 준다.
  2. 1등급을 제외하고, 남은 고객들의 빈도를 평균내어 평균보다 낮은 그룹에게 2등급을 준다.
  3. 반복하여 4등급까지 만들고, 남은 고객들은 5등급을 할당한다.

Monetary 5등급에 속한 5명의 고객이 총 100만원의 매출을 만들었다면 1등급은 100명의 고객이 100만원의 매출을 만드는 식으로 할당한다.

2) R-F-M 등급의 의존성

일단 의존성이라고 표현했는데, 두가지 방식을 설명하면 다음과 같다.

  • a. R/F/M 개별로 등급을 매긴 뒤, 단순히 등급을 묶는 방식.
  • b. R 등급을 매긴 뒤, R 등급의 1~5등급별로 F 등급을 매긴다. 마찬가지로 RF 등급쌍별로 M 등급을 매긴다.

즉 a 방법은 각 차원을 독립적으로 구성하고, b 방법은 앞의 차원에 의존적이게 구성이 된다. a의 장점은 간단하고 모든 셀이 동일한 사이즈로 구성된다는 점이고, b의 장점은 차원을 연계하여 상대적인 위치를 알 수 있다는 점인 것 같다.

예를 들어, 5-1-3 고객과 1-1-3 고객이 있다고 가정해보자. a 방식에서는 두 고객 모두 빈도(F) 점수가 1점이며, 실제로도 같은 수준의 빈도를 가지고 있을 것이다. b 방식에서는 그렇지 않다. 5-1-3 고객은 가장 최근에 방문한(R=5) 고객들 중 상대적으로 빈도가 낮은 고객 그룹이며, 1-1-3 고객은 아주 예전에 방문한(R=1) 고객들 중 상대적으로 빈도가 낮은 고객 그룹이 된다.

3) RFM 점수 만들기

RFM 세그멘테이션을 진행했다면 최종적으로 RFM 점수를 만들어 고객별 순위를 매길 수 있다. 이 단계는 선택적으로 진행하면 되고 아래의 구현 방식들이 있다.

  • a. 단순히 R/F/M의 점수를 더한다. 5-5-5이면 15점이 된다.
  • b. Judgment based RFM (also known as Hard-Coding) 개별로 가중치를 준다. 이 방식은 도메인별로 마케터의 재량에 따라 가중치를 줄 수 있도록 해준다.

5. RFM 분석 해보기

실제 데이터로 RFM 분석을 해 볼 시간이다. 데이터는 지난번 코호트 분석에 관한 글에서 썼던 것을 사용한다. 단, RFM 분석은 셀마다 어느정도 표본이 필요하기 때문에 1000명이 아닌 10000명씩 샘플링한다! 해당 데이터는 여기서 바로 받을 수도 있다.

앞서 소개한 여러가지 방법들 중, 아래의 방법을 사용한다.

  • 데이터가 5개월동안의 이벤트를 포함하기 때문에 Recency 값은 (1주/2주/3주/4주/4주+)로 등급을 나눈다. 이커머스에서 주로 사용하는 전환 기준인 28일을 기준점으로 삼았다. 날짜 계산의 기준은 데이터의 마지막 날짜인 2월 29일로 한다.
  • Frequency는 4번에서 소개한 Ted Miglautsch의 방법을 사용한다. 기준 기간은 데이터 전체(5개월)로 하겠다.
  • Monetary는 단순히 크기순으로 5분위수를 나누도록 하겠다. (customer quintile method) 기준 기간은 위와 마찬가지.

1) 구매 데이터 불러오기

일단 sqlite에 새롭게 1만 샘플 데이터를 넣자. 파일별 고유 유저 1만 명을 샘플링한 것이기 때문에 실제 사이즈는 80만 개의 행이 조금 넘는다.

import sqlite3

# 일반적으로 connect는 host에 연결하는 행위이지만, SQLite은 곧바로 DB에 연결한다.
con = sqlite3.connect('ecommerce10000.db')

# 명령어를 실행해주기 위한 커서 선언
cur = con.cursor()

# event 테이블을 만들어준다. 일단 모두 text 타입으로 선언한다.
cur.execute("""
    CREATE TABLE events
        (event_time text, event_type text, product_id text, category_id text, category_code text, brand text, price text, user_id text, user_session text)
""")

import pandas as pd

# 아까 만든 데이터를 불러온다.
data = pd.read_csv('ecommerce_cosmetics_sampled_10000.csv')

lists = []
# 튜플 형태로 리스트에 넣어준다
for idx, row in data.iterrows():
    lists.append(tuple([*row.values]))

# executemany를 통해 한 번에 데이터를 넣는다
cur.executemany("""INSERT INTO events VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?)""",lists)

# 트랜잭션을 수행하는 모든 함수는 반드시 커밋을 해줘야 실제 트랜잭션이 수행된다
con.commit()
# 데이터 쿼리
cur.execute("""
SELECT
    user_id,
    DATE(SUBSTR(event_time, 1, 10)) AS event_time, -- 날짜로 변경해준다
    price
FROM events
WHERE event_type = 'purchase'
LIMIT 1
""").fetchall()
[('380113376', '2019-12-01', '0.95')]

(사용자id, 날짜, 구매금액) 순으로 하나의 레코드만 살펴보았다. 여기에 추가적으로 필요한 데이터는 이 상태로 데이터를 불러와서 파이썬으로 작업을 해도 되는데, 나는 쿼리를 통해 필요한 데이터를 최대한 만들어두도록 하겠다.

문제는 현재 데이터가 주문당 데이터가 아닌, 개별 품목별 데이터라는 점이다. 따라서 1회 주문에서 A, B, C 세 상품을 구매했어도 세 개의 레코드로 분리되어 저장되어있다. 실제 raw data가 어떤 의미로 개별 저장되었는지는 알 수 없지만, 최대한 ‘주문당’ 데이터가 되도록 사용자별로 같은 (event_time, user_session) 쌍은 하나의 주문으로 취급하도록 하겠다.

cur = con.cursor()

# 데이터 쿼리
results = cur.execute("""
WITH
base AS (
SELECT
    user_id,
    user_session,
    event_time,
    price
FROM events
WHERE event_type = 'purchase'
)
,per_order AS (
SELECT
    user_id,
    user_session,
    event_time,
    SUM(price) AS order_price,
    COUNT(*) AS order_item_cnt
FROM base
GROUP BY user_id, user_session, event_time
)
,rfm AS (
SELECT
    user_id,
    CAST(JulianDay('2020-02-29') - JulianDay(MAX(DATE(SUBSTR(event_time, 1, 10)))) AS INTEGER) AS recency, --SQLite은 datediff 함수가 없다
    COUNT(*) AS frequency,
    SUM(order_price) AS monetary
FROM per_order
GROUP BY user_id
)

SELECT * FROM rfm
""").fetchall()

con.close()

results[:1]
[('101779631', 32, 1, 41.45)]

이제 뽑아낸 데이터를 pandas를 활용해 데이터프레임으로 바꾸고, 각 데이터의 분포를 확인해보자.

import pandas as pd

df = pd.DataFrame(results, columns=[i[0] for i in cur.description])
df.hist()
array([[<AxesSubplot:title={'center':'recency'}>,
        <AxesSubplot:title={'center':'frequency'}>],
       [<AxesSubplot:title={'center':'monetary'}>, <AxesSubplot:>]],
      dtype=object)

png

Recency는 비교적 골고루 분포하고 있고, Frequency는 예상대로 왼쪽으로 매우 치우쳐져 있는 것을 확인할 수 있다.

2) R-F-M 등급 부여하기

이제 개별 사용자에 대해 RFM 등급을 부여한다. 위에서 언급한대로 각각 적용하는 방식이 다르므로, 개별 함수를 만들어서 적용해줄 예정이다.

def recency(r):
    if r <= 7:
        return 5
    elif r <= 14:
        return 4
    elif r <= 21:
        return 3
    elif r <= 28:
        return 2
    else:
        return 1

# 개별 값에 대해 반복하기 때문에 map 함수
df['R'] = df['recency'].map(lambda x: recency(x))
df[['recency', 'R']].head(3)
recency R
0 32 1
1 29 1
2 48 1
def frequency(f):
    # 원본을 건드리지 않기 위해 새로 만듦
    s = pd.Series([0 for _ in range(len(f))])

    # 빈도가 1이면 1등급을 준다
    s[f == 1] = 1
    state = 2
    while state <= 4:
        # 아직 등급이 부여되지 않은 값들에 대해(값이 0), 평균보다 작은 값에 등급을 부여한다
        s[(s == 0) & (f < f[s == 0].mean())] = state
        state += 1

    # 남은 것들은 5등급을 준다
    s[s==0] = 5

    return s

# 전체 값에 대해 접근하기 때문에 Series 전체를 함수에 넘김
df['F'] = frequency(df['frequency'])
df[['frequency', 'F']].head(3)
frequency F
0 1 1
1 1 1
2 3 3
def monetary(m):
    # copy를 만들어서 오름차순 정렬한다
    s = m.copy()
    qc = pd.qcut(s, 5, labels=False)

    return (qc + 1)

df['M'] = monetary(df['monetary'])
df[['monetary', 'M']].head(3)
monetary M
0 41.45 3
1 36.34 3
2 125.97 5

3) RFM 분포 살펴보기

이제 등급 부여가 모두 완료되었다. 완성된 모습을 살펴보자.

df['Cell'] = df['R'].map(str) + df['F'].map(str) + df['M'].map(str)
df.head()
user_id recency frequency monetary R F M Cell
0 101779631 32 1 41.45 1 1 3 113
1 103274988 29 1 36.34 1 1 3 113
2 104808268 48 3 125.97 1 3 5 135
3 107945915 0 4 479.00 5 3 5 535
4 111782974 125 1 6.95 1 1 1 111
df.groupby(['R']).agg({'user_id': 'count'})
user_id
R
1 3328
2 259
3 283
4 254
5 334
df.groupby(['F']).agg({'user_id': 'count'})
user_id
F
1 3242
2 715
3 359
4 96
5 46

예상대로 1등급(1회 구매자) 인원이 60%를 넘는다.

df.groupby(['M']).agg({'user_id': 'count', 'monetary': 'sum'})
user_id monetary
M
1 892 9226.76
2 891 19309.39
3 892 34033.14
4 891 55043.85
5 892 166014.13

4) RFM 시각화

만들어둔 RFM 분류를 잘 활용하기 위해 시각화를 진행해보자. Visualizing RFM Segmentation을 참고하였다.

우선 R-F 행렬을 만들어보자. RFM을 동시에 시각화하면 3차원으로 표현해야 하는데, 그렇게 되면 가독성이 상당히 떨어지기 때문에 대개 2차원으로 살펴본다.

rf_matrix = df.groupby(['R', 'F']).agg({
    'user_id': 'count', 
    'monetary': 'sum'}).reset_index()
rf_matrix['avg_sales'] = rf_matrix['monetary']/rf_matrix['user_id']

이 행렬을 아래처럼 피벗해준다. sort_index를 거꾸로 하여 우측 상단으로 갈수록 좋은 등급을 나타낼 수 있도록 해준다. 피벗 이후에는 색상까지 입힌다. matplotlib으로 시각화를 해도 되지만, 이렇게 행렬 기반 시각화는 판다스 데이터프레임 내에서 하는 게 편해서 그냥 진행했다.

rf_pivot = rf_matrix\
    .pivot(index='F', columns='R', values='user_id')\
    .fillna(0)\
    .sort_index(ascending=False)
    
rf_pivot\
    .style\
    .background_gradient(cmap ='Blues', axis=None, low=0.2)
R 1 2 3 4 5
F
5 13 2 5 13 13
4 32 8 16 20 20
3 192 28 41 43 55
2 472 57 63 46 77
1 2619 164 158 132 169

이 테이블은 R-F 등급별 속한 사용자 수를 나타낸다. 예상대로 1-1이 상당히 많고, 높은 등급으로 갈수록 사용자가 희박해진다. 데이터 수가 적을수록 RFM의 분류를 진행하는 과정도 상당히 껄끄러워지고, 얻어갈 수 있는 인사이트도 줄어든다. 이번 예시에서는 어느정도 규모가 있는 데이터 셋을 사용하였기 때문에 이러한 어려움이 생기지는 않았다.

그 다음으로는 R-F 등급별 평균 구매 금액을 살펴본다. 전체 구매 금액으로 보면 당연히 사용자가 많은 1-1 그룹이 압도적이기 때문에, 평균 구매 금액을 보는 것이다.

rf_pivot = rf_matrix\
    .pivot(index='F', columns='R', values='avg_sales')\
    .fillna(0)\
    .sort_index(ascending=False)
    
rf_pivot\
    .style\
    .background_gradient(cmap ='Blues', axis=None, low=0.2)
R 1 2 3 4 5
F
5 363.550769 262.710000 514.260000 418.566154 316.460769
4 189.534063 403.881250 256.005625 319.256000 298.229000
3 142.825156 133.373929 158.582195 162.031163 153.661091
2 86.742373 84.342281 103.742222 76.111522 92.381688
1 38.107690 41.905305 41.418481 36.477879 38.424497

예상대로 등급이 높아질수록(5-5) 평균적으로 지출하는 금액이 크다. 여기서 몇가지 셀에 대한 추론을 해보자면 아래와 같을 수 있겠다.

  • (R=1, F=5): 한동안 자주 구매하다가 방문한 지 매우 오래된 고객. 재방문 쿠폰을 제시해보자
  • (R=3, F=5): 한동안 자주 구매하다가 방문한 지 오래된 고객. 평균 지출 금액이 가장 크다. 잠재적인 최고 고객이므로 적극적으로 마케팅을 해서 R 등급을 끌어올리자
  • (R=5, F=5): 최근까지도 들어왔고 구매도 자주하는 고객. 충성고객으로 놓쳐서는 안 된다. 꾸준한 관리가 필요

이러한 컨셉은 clevertap이라는 마케팅 솔루션 블로그에서 참고했다. 더 나아가, 커머스마다 해당 패턴은 매우 다양할 것이므로 다양한 해석이 가능해진다.

5) RFM을 가지고 무엇을 해야할까

또 어떤 분석을 할 수 있을까? 결국 세그멘테이션의 한 종류인 RFM의 핵심도 그룹(cell)간의 차이점을 발견하고 그 차이에 맞는 마케팅을 적용하는 것일 것이다.

  • 위에서는 그룹별 방문자수, 평균지출금액만 살펴보았지만 그 외의 요소들을 볼 수도 있다. 앞선 예시처럼 고객별 캠페인 응답률을 시각화하여 그룹별 차이를 볼 수도 있다.
  • 전체적인 윤곽을 보고, 지나치게 몰려있는 셀이 있다면 해당 셀을 drill down하여 원인을 파악해볼 수 있다.
  • 시간에 따른 RFM 분포의 변화를 살펴보고, 캠페인의 방향이 의도대로 가는지 확인할 수 있다.

6. 마치며

RFM 분석에 관해 정리하며 쓰다보니 글이 길어진 것 같다. 그래도 내가 예전에 구현하며 어려움을 겪었던 부분들이 많았기에 해당 부분을 더 집중적으로 다룰 수 있었다. 특히 처음 구현하는 입장에서는 찾아보는 RFM마다 적용하는 방식이 다르기에 뭐가 맞지라는 의문이 많이 드는데, 그러한 부분들을 짚고 넘어갈 수 있어서 만족한다 😎 . 다음에는 세그멘테이션에 관한 좀 더 브로드한 내용을 다루거나 마케팅 성과 측정에 관한 이야기를 해볼까 한다 😙