[A/B Test] A/B테스트 개인화 이론

안녕하세요! 

데이터 맛집 스터디 주제로 소개된 A/B 테스트로 하여금 사용자들에게 커스터마이즈드 된 웹 경험을 제공하고 

비즈니스 성과에 대해 괄목할 만한 성과가 있었는지 파악하기 위한 테스트이자, 앞으로의 향보에 대한 마일드 스톤이 될 A/B테스트에 실 예를 통해 이해하도록 하겠습니다.

 

 

                                                              카탈로그 웹사이트 VS 경험 우선 웹사이트

                               기업의 웹사이트, 비즈니스적으로 목적을 가진 내용을 웹에 표현한다 한다면,
마치 카탈로그 책자를 보는 것처럼 방문자로 하여금, 우리가 가진 정보를 최대한 많이 보여주는 것에 초점을 맞추었다.

 

(오프라인의 예시)

상대방의 경험을 자주 관리하려면 , 점원이 손님을 보고 인상 행동 동선을 파악해서, 저 사람이 도움이 필요한가를 말하고, 지난번 산 물건을 기반으로 다른 상품을 추천해본다 귀찮게 물어보고 싫어하면 피해 주기도 한다.

 

개인화(personalization) 란?

- 인구 통계적 데이터, 행동  데이터, 과거 데이터 및 선호 등을 기반으로 웹사이트를 방문하는 사용자에게 커스터마이즈 된 웹 경험을 제공하는 것,

사용자 경험 중심의 필수 전략인 개인화라는 개념이 대두되었다.

 

이제는 사이트를 만들고 거기에 우리가 가진 모든 콘텐츠를 때려박으면 이용자들이 알아서 원하는 것을 찾아가고, 대단한 비즈니스 성과를 바라는 것은 욕심이다.

 

사용하 개인이 다르고 사이트를 소비하는 방법은 다 다르다.

모두에게 공통되게 먹힐만한 콘텐츠, 레이아웃, 콘텐츠 전략은 존재하지 않는다.

 

인구통계적 관점, 사용자의 패턴, 사용자의 구매이력 데이터들을 모아서 분석하고 이를 토대로 인사이트 기반으로 각각 사람들에게 가장 알맞은 사용자 경험을 제공하는 것이 개인화 이론인 것이다.

 

필자가 가장 기억나는 것은, 개인화를 잘 적용한 사이트는 그렇지 않은 사이트 보다.  50% 이상 사이트 재방문을 유도하는 것에 의미가 있다. AOV rate는 40% 이상 높았고, 이중 1/3은 구매 경험이 오프라인까지 연결되었다. 는 리서치가 있었다.

 

우리의 역량을 최대한 발휘하여서, 모두에게 다른 경험을 제공한다는 것은 이상적이지만, 비즈니스 적으로 큰 의미가 있는 최소 집단을 대상으로 개인화를 제공하는 것 ("majority를 위해서 개인화를 한다."가 맞는 표현) 

 

결국 데이터를 근거로 세그먼트화 한다. 어떻게 정의하고 무엇을 언제 어떻게 보여주는며 성과는 어떻게 만들어 갈 것인가가 개인화 이론의 근간이 된다.

 

개인화의 세분화(핵심 요소) 

 

A/B테스트를 통해 B결과지가 더 높은 클릭률이나 점수를 얻었다 하면, B가 더 좋은 콘텐츠였다는 이야기이지만, 100%에게 B가 의미 있는 요소였을까?

 

데이터 가설을 통해 검증하고 인사이트를 얻는 와중에 가장 중요한 것은 두 결과지가 누구에게 더 도움이 됐고 누구에게 더 효과적 일가를 얻어 가는 것이 더 중요한 요소이다.

 

개인화의 세분화(핵심 요소) 

이보다 더 어려운 요소들은 사용자 기반에 테스트, 컨텐스 트기 반의 테스트들이 있을 수도 있지만, 본질적인 요소는 큰 틀을 바꾸나, 작은 틀을 바꾸냐를 테스트 조합하여 적절한 구성을 운용하는 것이 다.

 

- 레이아웃 테스트(전체 바꾸기)

사이트를 리뉴얼하거나, 적정 페이지 성과 저조 시 / 사용자 경험의 순서를 바꿔볼 때 운용

 

- 구성요소 테스트(일부 바꾸기)

일부 요소들이 만족스럽지 못한 결과를 얻을 때, 일부 요소들의 변경

 

∴사이트를 완전 처음 오는 사람들, 기존에 고객들에 대해 같은 페이지 더라 하더라도, 사이트 반응 , 활용이 다를 수 있다. 따라서 이런 부분들을 테스트 첫 사용자(간결, 사이트 경험 직관적) / 기존 사용자 (방문 목적이 뚜렷하므로, 메뉴 기능을 찾기에 도움이 되도록 타게팅 기반의 경험 중심 개인화)

 

A/b.., N 테스트

같은 내용을 가지고 있지만, 서로 다른 느낌의 이미지 시안을 테스트할 때는 이미지 자체의 효율성을 테스트 하지만, 의미와 내용의 성격이 다른 콘텐츠나 이미지를 테스트한다면, 가장 높은 점수를 받는 요소가 이용자들의 선택을 받는 것이기도 하지만, 뒤집어 생각해 보면 우리 이용자가 어떤 콘텐츠나 이미지를 선호하는지 파악이 된다. 즉 유저 특성을 알아차림에 의미가 더 크다.(사용자 경험 관리, 사용자 이해도 측정, 방문자 심리 요소 가늠)

 

다변량 (MVT) Test

-주의 사항 : 통계적 의미를 파악하기 위해 충분한 트래픽 확보가 중요

가능하면 ABn으로 실행 가능하다면 쉬운 것으로 접근하고 특정 세그먼트가 충분히 도출하고, 쪼갤 수 없을 세그먼트 하고 끝에 돼서야 사용

 

- 재  세그먼트 테스트

- 채널 및 발동 조건

- 시나리오 

 

테스트 ( 및 개인화)가 주는 비즈니스의 이점

1. 방문자 검증 : 커머스 및 에드 확인

2. 사이트 인게이지먼트 개선 : 기존 콘텐츠 사이트 구성으로 높은 사용자 인게이지먼트 

3. 브랜딩 경험 고객관리 : 브랜드 로열티 상승

4. 전환 최적화 : 퍼널 흐름 최적화, 매출 상승 트래픽 개선

5. 어카운팅 : 특정 어카운트 성과 개선 및 효율 증진

6. 구매 후 마케팅 : 상품 업셀, 재구매 기회 증진

 

실무진을 위한 팁

Call to action(CTA)

프로세서

1. 분석 -> 요건 가설 정의 : 테스트의 목적이 무엇인지, 원하는 답은 무엇인지 , 어떻게 평가될 것인지 

2. 벤치마킹 인더스트리 조사 : 누군가 진행한 시나리오 결과 파악, 테스트 의미성 도출 (리소스의 가치 판단)

3. 설계 : 필요 요건 및 구체화 방안, 시점, 자원

- 테스트 명, 난이도, 타깃 고객, 사업가치, URL, 목적, 키값, KPI, 구체화 방안, 핵심가치, 주요 평가 요소 등 

4. 콘텐츠 : 크리에이티브 전략, 소요 기간

5. 제작 실행 : 일정에 따른 실행, 결괏값 예측

6. 모니터링 : 데이터 신뢰성, 시작일-종료일 파악

 

테스팅 툴 

1. trustradius

2. g2 crowd

3. Datanyze

 

+

고스터리

빌트 위드

데이터 나이즈

시밀러 웹

 

(필자는 고스터리+ 옵티마이저 + 트레킹 툴 + 태그 매니저 사용 중)