본문 바로가기

추천 시스템/Testing

[A/B Test] Page Lanking, Retention 관련 Testing


안녕하세요 데이터맛집의 포테이토입니다.

 

서비스 런칭 이후, 가장 고민 되는것은 우리의 고객(유저)들에가 우리의 서비스가 얼마나 큰 영향을 미칠지를 계산해 냅니다.

 

특히 이 글을 마치고 나면 Cost per Revenue / Cost per User 의 개념으로 다가 가게될겁니다.

또한 그 이상을 넘어, How to make best didecision에 다다르고자 수없이 많은 시행착오 끝에 다다를 시기를 앞당기고자 합니다.

오늘 소개 해 드릴 분야는 특히 service maker 관점에서, 우리의 User들은 누가 될 것이고 또한, 앞으로는 어떻게 행동할 것인가를 판단함에 도움을 드리고자 합니다.

 

우선 마케팅에서 말하고 있는 고객획득과, 재반응은 다음과 같이 정의 됩니다.

애퀴지션(Acquisition) 마케팅이란 신규 고객을 창출하는 마케팅을 의미하고
리텐션(Retention) 마케팅이란 기존 고객 유지 강화 마케팅을 의미합니다.

즉, 애퀴지션 마케팅은 아직 자사 서비스를 접해보지 못한 타겟에게
효과적으로 자사 서비스를 접해볼 기회를 제공하는 것이며,
리텐션 마케팅은 한 번 자사 서비스를 접한 사용자가 이탈하지 않고
지속적으로 재방문하여 서비스를 이용하게끔 유도하는 것입니다.

 

애퀴지션 마케팅에서는 타겟을 세분화하고 각 타겟의 특성에 맞춘
매체와 광고 기법 등을 활용하여 전달하는 것이 중요하며,
리텐션 마케팅에서는 서비스에 대한 사용자의 피드백을 빠르게 반영하고
이탈 지점을 찾아 보완하는 등 지속적인 서비스 개선 및 업데이트가 중요합니다.

 


우리는 지금 이미 성공적인 서비스를 만들었고,

그 서비스를 더욱 향상하고자 리텐션에 집중하고있습니다.

 

그러한 방법중 하나는, 이미 유입된 유저들을 분류하고, 그사람들에게 최적화된 방식으로 이탈지점을 낮추고, 지속적인 서비스 개선을 도모함에 있습니다.

 

이론들을 설명하기 위해, 중요한 포인트 들이있습니다.

1. 새로운 모델을 항상 전시장 맨 앞에 전시하는 이유

일반적으로 커머스 웹에서의 상품 노출 알고림즘들은 복합적인 요소가 적용 되지만 기본적으로 적합도 / 인기도 / 신뢰도 3가지의 항목을 기준으로 상품을 노출한다.

한 필드에 위치하기 위해 판단 되는 구성 요소가 많은 이유는 필드에 따른 CTR이 확실히 다르다는 것 아닐까?

 

subtilte : 새로운 모델을 전시장 뒤에 전시해도 높을까?

혹은 생각해 보자. 새로운 자동차를 출시했고, 전시를 시도하려 한다.

(단, 똑같은 시간, 똑같은 고객, 똑같은 취향 등 모든 요소는 같으며, 장소의 특이성도 없다)

 

첫번째로, 우리는 모터쇼에서  가장 잘보이는 '중앙'에 차를 전시했다. 

당현히, 사람들의 시선을 사로잡았고, 많은 기자들과 고객들이 다녀갔을 것이다.

 

두번째로, 모터쇼에서 접근량(통행량)이 많은 '우측' 에 차를 전시했다.

처음엔, 한두마디 건내시 시작했고, 구매상담을 요청한 고객들과 바이어들들도 있었다.

 

즉, 노출위치에 따라 이용자이 움직일 엑션은 상이하다는 것이다.

추천 알고리즘들도 유사하다. 어떤 알고리즘이 어떤 위치에 놓여저 있느나에 따라 '노출수' 는 같더라도 따라오는 노출수 클릭율 페이지 유지율, 결재율등은 상이하다는 것이다.

 

우리는 각기다른 알고리즘을 평가 할때, 배너 위치별 노출량을을 신뢰도에 포함하여 계산하여야 한다.

또한, 동일 환경을 구축하기 위해 TEST 기간동안, 모집단 선정에도 최대한 같은 모집단이 선정될수 있는지에도 집중해야 한다.

E21 Effective Product Recommendation

What Are the Benefits of a Product Recommendations Engine?

Is the product recommendations process really worth the trouble? Isn’t the incorporation of machine learning a bit beyond the scope of all but the largest ecommerce websites?
Those are the types of questions we often hear from clients. There are times when it seems the high-tech movement is going too far, and machine-learning algorithms are a prime example of that complaint.
Given the potential benefits, though, the argument often settles itself. When a tool proves itself sufficiently valuable, the question moves from “Why?” to “How?”.
  • Research conducted by Barilliance in 2018 concluded that product recommendations accounted for up to 31 percent of ecommerce revenues. On average, customers saw 12 percent of their overall purchases coming from products that were recommended to them. 
  • A Salesforce study of product recommendations concluded that visits where the shopper clicked a recommendation comprise just 7 percent of total site traffic, but make up 24 percent of orders and 26 percent of revenue. 
  • The conversion rate for visitors clicking on product recommendations was found to be 5.5x higher than for visitors who didn’t click
  • A Gartner study predicts engines that gauge and react to customer intent will be capable of boosting ecommerce profits as much as 15 percent by 2020
  • As online shoppers become more used to personalization, they equate it with professionalism – meaning your site needs to bump up to keep up
  • An Accenture report says personalization increases the likelihood of a prospect purchasing from you by 75 percentStudies increasingly show the value of product recommendations and the critical role they play in personalization strategies. Recommendations not only lift conversion rates, they help deliver improved user experience to keep visitors coming back and can boost the average order value. 

    Once an ecommerce manager is convinced of the benefits of a product recommendation engine, the next step is to determine product recommendation best practices and configure the product recommendation algorithm accordingly. 

 

가장 눈에 띄었던 내용은 "바릴리언스가 2018년에 실시한 연구는 제품 추천이 전자상거래 매출의 31퍼센트를 차지한다는 결론을 내렸다. 평균적으로 고객들은 전체 구매의 12%가 자신들에게 추천된 제품에서 나온다고 보았다.
Salesforce의 제품 권장 사항에 대한 연구는 구매자가 추천서를 클릭하는 방문이 전체 사이트 트래픽의 7%에 불과하지만, 주문의 24%와 매출의 26%를 차지하는 것으로 결론지었다."

 

그렇다면 우리는 전체사이트의 트레픽에 7%에 불과했던 그들의 움직임을 보다 상세히 발견하고,

그들 중 특정집단을 규명함과 동시 전체집단을 세부적으로 파악할 필요가 있지 않을까 한다.

 

 

서비스가 시행됨에 따라, 서비스를 이용하는 유저의 움직임은 다양해 진다.

간략하게 설명하자면, 서비스를 이용하는 이용자가 늘어났거나 줄어들었거나 한다.

 

판별에 주요 요소는 다양하다.

User maintain / Quick growth / LTV / MRR /RoAS/ RoI... 복합적인 요소들에 의해 서비스의 성공과 실패가 결정된다.

매출액이 늘어가고 있다던가, 이용자가 늘어가고 있다고 해서 효과적인 서비스일까?

 

좋은 서비스나 시스템이 생겼다. 어떤일들이 일어났는가?

그래프를 보자 임의로 두 그래프를 만들어 보았다.

빨간색 그래프를 '연봉상승' 이라 생각하고, 파란그래프는 '카드 값'이라고 생각해 보자.

20살에 취직을 했고, 22살 까지 카드값은 크게 걱정하지 않았다. 하지만 왠걸? 23살부터 월급보다 카드값이 많이 나가다니..  밤에 잠이 오지 않았다...

 

서비스 역시 이러하다. 매출은 늘어가지만 영업이익이 늘어나지않는 문제라던가, 이용자는 늘어나는데 매출이 발생하지 않는다던가...

 

Retintion 점점 중요해 져요!

경쟁 상황에서 리텐션은 점점 중요해지고있다. 시장에 존재하는 많은 커머스들, 고객에 도달하기위해 서로 경쟁하면 CAC가 높하지고 있다. 사업에서 이익을 위해 LifeTime Value역시 높아야한다. Lite Time Value를 높히려면 리텐션이 필요하다(구매한 고객이 재구매, 반복구매 하도록 만들것).

 

서비스 역시도 Retintion 이 생존의 척도이다.

Retention = New + Churn

retetntion에서 가장 중요한점은, 대부분의 이탈은 초가 단계에서 일어난다는 것이고. 유저들은 인내심과 관용이 너그럽지 못하다는 문제가있다. 초반에 가치를 느끼지 못하면 지속적으로 이용하지 않고 이탈해 버린다.

따라서.

카테고리 내에서 DAU, MAU, WAU방식을 접목한 테스팅

월요일 부터 일요일까지 order 와 cart 는 다르게 움직일 것이다.

  • A. MAU(t) = New(t) + retined(t) + reserrected(t)
  • B. MAU(t- 1month) = retained(t) + churned(t)
  • B-A = New(t)+resurrected(t)-chuned(t)

 

전달과 대비해서 우리의 알고리즘과 서비스가 얼마나 성장했는가를 판단한다.

세부적으로

신규 1500 / 부활 500 / 이탈 1000 VS 신규 3000 / 부활 2000 / 이탈 4000

같은 1000의 MAU 이지만 사업적으로 다른 의미로 평가 된다.

 

* Quick Ratio = (new + resurrected) / churn => 이탈이 얼마나 빠르게 일어나고 있는지 판단

또 User의 성장이 매출로 이어지는가 판단한다.

 

고객유지비율(CLV) 예측값 

고객 생애 가치 (Customer Lifetime Value) 간략 계산 공식

  • M: 고객 1인당 평균 매출. 보통 1년 단위로 계산한다.
  • c: 고객 1인당 평균 비용. 보통 1년 단위로 계산한다.
  • r: 고객 유지 비율 (retention rate), 즉 어떤 고객이 그 다음 해에도 여전히 고객으로 남아 있을 확률
  • i: 이자율 또는 할인율
  • AC: 고객 획득 비용 (Acquisition Cost). 고객이 첫 방문 또는 첫 구매를 하도록 하는데 드는 비용

이와 같이 CLV의 관점에서 고객을 보면 정말 많은 것이 달라진다. 당장 어떻게 해서든 매출을 높이기보다는 어떻게 하면 효과적인 마케팅을 통해 고객 유치 비용(Acquisition Cost)을 줄이고, 고객 1인당 수익 기여액을 높이고 (M – c), 고객 유지 비율(Retention Rate)을 높일까에 보다 집중하게 된다. 특히 CLV에 가장 큰 영향을 미치는 ‘고객 유지 비율’을 간과한다면 가장 큰 실수를 하는 것이다.

 

retention rate을 낮추어 사업의 성장을 바라본다.

 

마지막으로 EC21 Best Practice Tips for Ecommerce Product Recommendations – The List살펴 보겠습니다.

1.Displaying a list of suggested products based on the visitor’s browsing history (“Recommended for you”) is an often-used and effective type of product recommendation – to add deeper impact, personalize with the shopper’s name.
2.Use “Frequently bought together” recommendations to increase average order value (AOV).
3. Use product recommendation engines to personalize your email campaigns. Integrate product recommendations into your email marketing strategy by sending personalized emails to your customers with product recommendations based on their recent purchase history.
4.“Featured recommendation” and “Recently viewed” suggestions can introduce shoppers to items they wouldn’t have thought about searching for.
5.Providing access to the shopper’s browsing history can help save sales that may have been lost had the customer not been able to relocate an item earlier viewed.
6.Show “Related to items you’ve viewed” suggestions on product pages to help encourage users to add additional items to their cart.
7.“Customers who bought [this item] also bought [that item]” recommendations provide social proof and peer-generated recommendations of relevant products the user may be interested in.
8.Alert viewers of products that have been updated by generating “There is a newer version of this item” notices.
9.Personalize recommendations by showing items related to previous purchases (“Since you already own this, you may also want this”).
10.Feature best-selling items for each brand for indirect social proof and as a way of adding confidence to the purchase. Recommending best-selling products on the homepage has shown to be a highly-effective tactic for hooking your users attention as soon as they reach your site.
11.Generate product bundles (items frequently purchased together) and offer a special discount for purchasing the group.
12.Don’t limit references to best-selling items to one product or brand. show best-sellers across entire product categories.
13.Make sure all recommendations are relevant and timely. they should also be informed by returns and reviews.
14.Adjust your recommendations to keep popular products highlighted and to provide additional viewing opportunities for lower-selling items (20 percent of your items will provide 80 percent of your sales).
15.Show highest rated items in product recommendations. Try injecting some social proof into your product recommendations by displaying items that have the highest customer reviews.
16.Know your visitors. the more personalization you can add, the better your results.
17.Provide product recommendations when items added to the cart require accessories (fishing reels need fishing line, flashlights need batteries, shoes often require socks).
18.Use product recommendations for moving the buyer up to a more fully-featured version of the one currently being browsed (upselling).
19.Use product recommendations to remind the shopper about upcoming holidays or other special events.
20.Never stop A/B testing. your product recommendations engine isn’t a set it and forget it function; add it to your testing regimen for conversion optimization.
21.Offer recommended product pairings on the shopping cart page. Before your customers move into the checkout process, you have one last opportunity to present them with product recommendations. If you opt to use this tactic, make sure the products you’re offering don’t distract users from completing the purchase. Cross-selling related items that compliment the items already in their cart is the best approach here.

 

내부적으로 진행가능한 TEST 에 대해 알아 보았습니다.

 

다음시간에는 A/B 테스트의  개인화 이론과 데모솔루션환경에 대해 알아 보겠습니다.