Causal Impact를 이용한 마케팅 효과 측정하기

2016년 03월 11일 모종훈

소비자의 마음을 움직이기 위한 마케팅, 그 효과는 어떻게 측정할까요?

가장 초보적인 방법은 광고를 비롯해 여러 가지 마케팅을 한 후 고객 방문이나 판매같은 실적의 변화를 확인하는 것입니다. 그러나 실적은 마케팅 이외에도 다양한 변수에 영향을 받습니다. 하루 하루 우연히 증가나 감소를 거듭하기도 하고요.

이보다 좀 더 세련된 방법으로 A/B 테스팅이 있습니다. 과학에서 사용하는 대조군 실험을 마케팅 효과 측정에 응용한 것이지요. A/B테스팅은 고객들을 A 집단, B 집단, 이런 식으로 여러 집단으로 나누어 집단마다 다른 마케팅 방법을 사용하는 것입니다. 만약 A집단보다 B집단 쪽에서 실적이더 좋다면 B집단에 적용한 마케팅 방법이 더 효과적인 것이겠지요.

그러나 A/B 테스팅에도 문제는 있습니다. 웹 사이트라면 고객마다 디자인을 다르게 해서 보여줄 수 있습니다. 온라인 광고도 고객마다 다른 버전을 보여줄 수 있지요. 하지만 모든 종류의 마케팅을 그렇게 고객마다 다르게 하기는 어렵습니다.

마케팅이 아닌 다른 외부적 사건들, 예를 들어서 야구 경기가 열린다든지 경쟁사가 마케팅을 하는 경우에도 이런 외부의 사건들이 우리 실적에 미치는 영향을 A/B 테스팅으로 알아낼 수는 없습니다.

이런 종류의 문제를 해결하기 위해 구글은 아주 복잡한 통계 분석법 하나를 개발했습니다. Bayesian Structural Time-Series Model이라는 방법인데요, 이름부터 아주 복잡하네요. 이 글에서는 수학적인 세부 사항은 빼고 아주 쉽게 소개해보려고 합니다. 사실 이 방법을 잘 이해하지 못하더라도 구글이 이 분석을 할 수 있는 CausalImpact라는 패키지를 공개했기 때문에 누구나 자기 데이터로 바로 돌려볼 수 있습니다.

구글의 CausalImpact가 해주는 일은 아주 간단합니다. 아래 그림을 보면서 설명드리겠습니다.

Causal Impact Example

그림 맨 위 (a)에서 검은 실선은 어떤 광고의 클릭 수를 주 단위로 나타낸 것입니다. 여느 광고가 그렇듯이 클릭 수가 오르락 내리락하면서 일정한 경향을 보여줍니다. 그림 (a)는 점선으로 세 구간으로 구분되어 있는데요, 중간에 표시된 intervention이라는 시기 동안 마케팅 캠페인을 펼친 것입니다. 맨 왼쪽의 pre-intervention은 캠페인 전이고, 맨 오른쪽의 post-intervention은 캠페인 이후입니다. 파란 실선은 이 마케팅 캠페인을 펼치지 않았을 때 클릭 수를 기존의 패턴으로 추측한 것입니다. 파란 실선 위아래의 하늘색 영역은 일종의 오차범위 같은 것을 나타낸다고 생각하시면 됩니다.

따라서 검은 선과 파란 선의 차이가 마케팅 캠페인의 효과를 나타내게 됩니다. 그림(b)가 바로 이 차이를 보여주고 있고요, 그림(c)는 누적된 효과를 나타냅니다.

Causal Impact는 이렇게 한 가지 마케팅 캠페인만이 아니라 동시에 여러 마케팅 캠페인은 물론 외부적인 사건들까지도 각각의 효과를 측정해낼 수 있습니다. 그리고 그 효과를 이렇게 보기좋게 그래프로 만들어 줍니다.

어떻게 이런 분석이 가능한 것일까요? 아래 그림은 Causal Impact가 사용하고 있는 분석 기법의 구조를 알기 쉽게(?) 그림으로 나타낸 것입니다. 전혀 알기 쉽지가 않죠? 적당히 뛰어넘으시면 말로 쉽게 설명해드리도록 하겠습니다.

Causal Impact Model

Causal Impact의 분석 모형은 부분적 경향, 계절 효과, 사건 효과 3가지를 측정합니다. 각각에 대해서 알아보죠.

부분적 경향

부분적 경향이란 시간의 흐름에서 어느 한 부분에 나타나는 경향을 말합니다. 그리고 이 경향은 장기적으로 어떤 변화를 나타내게 됩니다. 시간의 흐름에 따라 서서히 증가하는데 시간이 갈 수록 증가 폭은 조금씩 감소한다든지 이런 변화말이죠. Causal Impact의 분석 모형은 이런 부분적 경향의 장단기적 변화들을 측정합니다.

계절 효과

아이스크림의 판매량을 그래프로 그려보면 매년 여름 쯤에 올라갔다가 가을이 되면 내려가는 주기적인 패턴을 나타냅니다. 이렇게 주기적인 변화를 흔히 '계절 효과'라고 합니다. 계절이 주기적 변화의 대표적인 예이기 때문입니다. Causal Impact의 분석 모형은 이런 계절 효과도 같이 측정합니다.

사건 효과

이렇게 장단기적인 변화와 주기적인 변화를 측정해낼 수 있다면 클릭량이라든지 방문자 수라든지 매출 같은 실적들이 앞으로 어떻게 흘러갈지 대략 예측을 할 수 있습니다. Causal Impact는 여기에 어떤 기간에 발생한 사건 효과도 같이 측정합니다.

일정 기간에 일어난 것은 뭐든지 사건이라고 부를 수 있겠는데요, 마케팅 캠페인도 사건이 될 수 있고, 야구 경기라든지 아니면 태양의 일식 같은 것도 역시 사건이 될 수 있습니다. 어쨌든 사건의 일어났을 때 이 사건이 미친 효과도 같이 측정이 됩니다.

기업들이 마케팅이나 광고를 한 번에 하나씩만 하지는 않지요. 사건은 여러 가지가 동시다발적으로 일어납니다. Causal Impact의 분석 모형은 이렇게 여러 가지 사건 중에서 진짜로 영향을 미친 사건만을 뽑아내주는 기능도 가지고 있습니다. 통계학에서는 이런 기능을 변수 선택이라고 부릅니다.


굉장히 복잡한 분석 모형이지만 실제 분석은 R 을 이용하면 매우 간단합니다. 마인드스케일의 마케팅 효과 분석하기는 A/B 테스팅에서 구글의 Causal Impact까지 다양한 마케팅 효과 분석 기법을 R로 하는 방법을 동영상 강의로 상세하고 친절하게 소개하고 있습니다. 더 자세한 내용을 알고 싶으시거나 실무에서 마케팅 효과 분석을 하고 싶으신 분들은 수강 하시길 바랍니다.

더 많은 글 읽기