쏘카와 Zipcar의 A/B 테스트가 궁금해!! User Segmentation, Cohort 분석 및 A/B 테스트 2탄 | 코드스테이츠 PMB 17기 W5D3

[ 본 포스팅은 PC 환경에서 보시길 권장합니다 ]

 

 

 

 

앞서 W5D3 1탄 글에서 공부한 내용을 정리하였다.

그럼 이번 2탄 글에서는 공부한 내용을 적용해 보는 시간을 가져보도록 하자. 

 

W5D3 1탄 내용이 궁금하다면 아래 링크에서 확인해 보자👇

2023.03.09 - [PM삐약이🐥] - User Segmentation, Cohort 분석 및 A/B 테스트 1탄 | 코드스테이츠 PMB 17기 W5D3

User Segmentation, Cohort 분석 및 A/B 테스트 1탄 | 코드스테이츠 PMB 17기 W5D3

 

 

---

 

 

과제: 국내와 해외 프로덕트의 A/B 테스트 사례를 찾아, 인사이트 얻기

 

 

1. 국내 프로덕트 1개, 해외 프로덕트 1개 선정합니다. 

 

 

국내 프로덕트는: 쏘카, 해외 프로덕트로는: Zipcar 를 선정하였다.

 

좌측은 쏘카, 우측은 집카

 

 

최근 여행 뽐뿌가 와서.. 숙소부터 렌트카를 알아보고 있다. 나는 렌트카가 필요할 때면 당연하다듯이 쏘카 앱에 접속하여 필요한 요일, 시간을 정하고, 비용을 비교해보고 차를 선택한다. 그러다가 오늘 과제를 확인하고, 문득 해외에도 렌트카, 카셰어링 서비스가 있는지 궁금증이 생겨, 미국에서 많이 이용되고 있는 카셰어링 서비스를 찾아본 끝에, Zipcar을 리서치 대상으로 선정하게 되었다. 

 

 

쏘카의 타겟 고객층은 20대부터 40대 초반까지의 대도시 거주자로, 자가용을 보유하지 않거나 자주 운전하지 않는 분들을 주요 고객층으로 보고 있다. 또한, 대학생 및 직장인 등 일상적인 이동 수단으로 차량을 이용하는 분들도 쏘카의 타겟 고객층에 해당된다. 쏘카가 한국에서 정착하고 성장할 수 있던 이유는, 한국의 사회적 배경때문이라고 생각되어, '해외에도 우리나라처럼 카셰어링 서비스가 활성화될 수 있을까?' 하는 궁금증이 생겼던 것이고, 그래서 리서치를 한 끝에 Zipcar 라는 서비스를 다뤄보면 좋을 것 같아 가져와봤다. 

 

 

리서치해본 결과, Zipcar의 타겟 고객층은 쏘카와 유사하게 대도시 거주자 중에서 자가용을 보유하지 않거나 자주 운전하지 않는 분들을 주요 고객층으로 보고 있었다. 또한, 대학교 내 캠퍼스나 대학교 주변에서 자주 이용되는 경우도 있으며, 비즈니스 출장이나 여행 등을 목적으로 차량을 필요로 하는 고객층도 있는 것으로 보였다. Zipcar는 현재 대학생이나 직장인 등 미국 내에서 이동이 많은 분들을 대상으로 하는 마케팅을 진행하고 있고, 친환경적인 모빌리티에 관심이 있는 사람들을 타겟 고객층으로 보고 있었다. 그러니까 해외라고 니즈가 없는 것은 아니었던 것이다. 

 

 

간단하게 쏘카와 Zipcar의 차이점을 비교해봤다: 

 

1) 운영 지역

 

쏘카는 한국을 중심으로 운영되고 있으며, Zipcar는 미국과 캐나다를 중심으로 운영되고 있다.

 

2) 서비스의 종류

 

쏘카는 대부분의 차량을 신차나 최신 모델로 구성하고 있으며, 대여 기간도 시간 단위부터 일주일 단위까지 다양하게 제공하고 있다. 반면 Zipcar는 중형차나 소형차, 밴 등 다양한 종류의 차량을 대여할 수 있으며, 시간 단위 대여만 제공하는 것으로 보였다. 

 

3) 대여 요금

 

쏘카는 보통 1시간에 3,000원 이상부터~1만원2천원정도이며 중형 및 대형 차량의 경우 요금이 조금 더 높다. 또한 쏘카는 일일 대여 요금도 제공하며, 일일 대여 요금은 시간당 요금보다 비교적 저렴하다 . Zipcar는 일반적으로는 $7 ~ $15 정도의 범위에서 시간당 기본 요금이 책정되어 있다.

 

4) 대여 방식

 

쏘카는 모바일 앱을 통해 차량을 예약하고 대여할 수 있습니다. 반면 Zipcar는 자사의 멤버쉽 카드를 발급받아야 차량을 대여할 수 있다고 한다. 

 

 

---

 

 

2. 위 두 개 프로덕트에 대한 A/B 테스트 사례를 알아보자.

 

 

쏘카에서 실패했던 A/B 테스트: 

 

1)이메일 할인쿠폰 테스트

 

문제 정의: 쏘카는 고객 유치 및 충성도 유지를 위해 다양한 프로모션과 할인 쿠폰을 제공하고 있다, 그러나 이전에 시행한 할인 쿠폰 프로모션이 성과를 거둘 수 있을까에 대한 의문이 제기되어, 이를 확인하기 위한 A/B 테스트를 시행하게 되었다.

 

가설: 할인 쿠폰이 제공될 때, 고객의 예약 확률이 증가하고, 쏘카의 매출이 상승할 것이다.

 

기간: 1개월간.

 

타겟: 할인 쿠폰이 포함된 이메일을 받은 이메일 구독자.

 

테스트 형식: A 그룹은 할인 쿠폰을 포함한 이메일을, B 그룹은 할인 쿠폰 없이 일반 이메일을 받도록 했다.

 

결과: A/B 테스트 결과, 할인 쿠폰을 포함한 이메일을 받은 A 그룹과 할인 쿠폰 없이 일반 이메일을 받은 B 그룹의 예약 확률 차이는 통계적으로 유의미하지 않았다고 한다. 즉, 할인 쿠폰이 예약 확률을 증가시키지 않았으며, 이메일 마케팅 비용이 더 많이 들어갔음에도 불구하고 매출 상승에는 기여하지 못했다는 것이다. 

 

이번 A/B 테스트를 통해 할인 쿠폰이 항상 고객 유치와 매출 상승에 효과적이지 않다는 점을 알게 되었으며, 이후 쏘카는 다양한 유형의 프로모션을 시도하게 되었다.

 

---

 

쏘카에서 성공했던 A/B테스트: 

 

2) '추천 차량' 기능 테스트

 

 

문제정의: 쏘카는 사용자들이 차량을 예약할 때, 어떤 차량을 선택할지 고민하는 경우가 있어서 이를 해소하기 위해 '추천 차량' 기능을 제공하였다. 그러나 기존에는 추천 차량이 나열되어 있는 위치가 알기 어렵고, 사용자들이 적극적으로 이를 활용하지 않았고 있다는 것을 발견한다.

 

가설: 추천 차량을 더 눈에 띄게 배치하고, 이에 대한 정보를 명확히 제공할 경우 사용자들이 추천 차량을 더 많이 활용할 것이다.

 

기간: 2019년 4월 2일부터 4월 30일까지 약 4주간.

 

타겟: 웹과 앱 모두에서 추천 차량을 활용하는 사용자를 대상으로 테스트 진행.

 

테스트 형식: 테스트는 '추천 차량' UI 개선으로 진행되었다. 기존에는 사용자가 예약하려는 차량의 상세페이지에서 추천 차량이 몇 줄의 텍스트로만 나열되어 있었다. 이를 개선하여 추천 차량이 쏘카 메인 페이지에서 나열되어 더 눈에 띄도록 하고, 추천 차량의 대표 이미지, 차종, 사용 가능 지역 등의 정보를 상세하게 제공하였다.

 

결과: 개선된 추천 차량 UI를 적용한 그룹과 기존 UI를 사용한 그룹을 비교한 결과, 개선된 UI 그룹의 예약 비율이 5% 증가하였다. 또한 개선된 UI를 사용한 그룹의 추천 차량 예약 비율도 25% 증가하였다. 이를 통해 추천 차량 UI 개선이 사용자들의 차량 선택에 긍정적인 영향을 미치며, 예약 증대에도 기여하는 것으로 확인되었다고 한다. 

 

---

 

Zipcar의 성공했던 A/B 테스트:

 

3) 예약 확인 페이지의 버튼 컬러 테스트

 

문제 정의: Zipcar는 예약 확정율을 높이기 위해 고객이 예약을 완료하는 과정에서 어떤 요소들이 고객들에게 큰 영향을 미치는지 파악하고자 했다.

 

가설: 예약 확정율을 높이기 위해 예약 확인 페이지에서 CTA 버튼의 색상을 변경하면 고객이 버튼을 클릭할 확률이 높아지고 예약 확정율이 증가할 것이다.

 

타겟: Zipcar 웹사이트에서 예약을 시도한 모든 고객.

 

테스트 형식: 버튼 색상의 변화를 UI 개선으로 적용했다. 예약 확인 페이지의 CTA 버튼은 이전에는 회색이었으나, A/B 테스트에서는 녹색으로 변경되었다. 변경 사항은 테스트 그룹에만 적용되었고, 컨트롤 그룹은 이전 버전의 예약 확인 페이지를 계속 사용했다. 

 

결과: A/B 테스트 결과, 녹색 버튼을 사용한 테스트 그룹의 예약 확정율은 이전 버전의 회색 버튼을 사용한 컨트롤 그룹의 예약 확정율보다 8.4% 증가했다. 이는 고객들이 예약 확인 페이지에서 버튼을 더 쉽게 찾아서 클릭할 수 있도록 색상이 변경됨으로써 발생한 것으로 해석되었다. 이러한 결과를 토대로 Zipcar는 예약 확정율을 높이기 위해 예약 확인 페이지의 CTA 버튼 색상을 녹색으로 변경하는 것을 고객 경험을 개선하는 방안 중 하나로 채택하였다.

 

---

 

4) 이메일 제목에 대한 A/B 테스트

 

문제 정의: Zipcar는 이메일 구독자들에 대한 마케팅 이메일을 전송할 때, 어떤 이메일 내용이 가장 효과적인지에 대한 지속적인 분석을 수행하고자 했다. 이 중에서도 특히, 제목과 내용에 따른 오픈율과 클릭율이 높은 이메일을 만들기 위해 A/B 테스트를 수행했다.

 

가설: 제목과 내용의 변경에 따라 오픈율과 클릭율이 달라질 것이다.

 

타겟: Zipcar의 이메일 구독자들을 대상으로 테스트를 진행.

 

테스트 형식: Zipcar는 이메일 제목과 내용에 대한 A/B 테스트를 수행했다. 테스트 그룹은 랜덤하게 50:50으로 분배되어 각 그룹마다 다른 제목과 내용을 갖는 이메일을 전송했다. 제목과 내용은 매주 변경되었다. 예를 들어, 한 주에는 '휴가 계획을 세우셨나요?'라는 제목과 내용으로 이메일을 전송하고, 다른 주에는 '친구들과 함께 차량 공유하세요'라는 제목과 내용으로 이메일을 전송하는 방식으로 테스트를 수행했다.

 

결과: Zipcar의 A/B 테스트를 통해, 특정 제목과 내용이 높은 클릭율과 전환율을 보였다고 한다. 이를 바탕으로 Zipcar는 이메일 제목과 내용을 최적화하여, 높은 오픈율과 클릭율을 얻을 수 있도록 개선할 수 있었다.

 

---

 

5) 이메일 캠페인 개선 테스트

 

문제 정의: 이메일 구독 해지율을 낮추기 위해 이메일 캠페인의 문제점을 파악하고 개선 방안을 도출하고자 함.

 

가설:

1. 간단하고 직관적인 디자인과 내용으로 이메일을 발송하면 이메일 구독 해지율을 낮출 것이다. 
2. 이메일 발송 주기를 늦춰서 고객들이 더욱 관심을 가질 수 있도록 하면 이메일 구독 해지율을 낮출 것이다. 

 

기간: 2주

 

타겟: 이메일 캠페인 수신 동의한 모든 고객

 

테스트 형식 및 내용:

1. A그룹: 현재와 같은 이메일 디자인과 주기로 이메일 발송 (Control) / B그룹: 간단하고 직관적인 디자인과 내용으로 이메일 발송
2. A그룹: 현재와 같은 이메일 발송 주기로 이메일 발송 (Control) / B그룹: 이메일 발송 주기를 늦춰서 발송

 

테스트 결과: 1번 가설은 유효하지 않았다. 이메일 디자인과 내용의 간결함이 이메일 구독 해지율을 크게 개선하지 않았습니다. 하지만, 2번 가설은 유효했다. 이메일 발송 주기를 늦추면서 이메일을 보내니 이메일 구독 해지율이 40% 감소하였다. 따라서 Zipcar는 이메일 발송 주기를 늦추는 것으로 문제를 해결했다. 

 

---

 

3. 얻은 인사이트와 A/B 테스트 수행 아이디어를 작성해보자. 

 

 

A/B 테스트를 정밀하게 실행하려면 어려울 것 같다는 생각을 했었고, 그리고 실험 설계 하는 것이 어려울 것으로 생각했었는데, 위 사례들을 찾아보면서, A/B 테스트를 너무 어렵게 생각하지 않아도 될 것 같다는 생각을 갖게 되었다. 정말 작은 요소, 위 사례에서 봤듯이, 버튼 컬러, 이메일 제목과 같은 요소도 모두 테스트 해볼 수 있다. 단지 A/B 테스트를 실행할 때, 정확한 문제 정의, 테스트하고자 하는 가설을 잘 설립하고, 그리고 테스트 결과를 잘 정리해놔야 할 것 같다는 생각이 들었다. 

 

 

위에서 쏘카에서 진행했던 이메일 할인쿠폰 발송 테스트와 아래 Zipcar에서 했던 이메일 관련 A/B 테스트를 보면서, 크게 한 가지 정도 생각을 할 수 있었다: '하나의 A/B 테스트 결과로 솔루션을 확정하지 말것.'

 

 

이메일 캠페인만 보더라도, 테스트할 수 있는 요소가 정말 많다는 것을 알 수 있었다, Zipcar처럼 제목을 수정할 수도 있고, 발송주기를 변경할 수도 있고, 물론 발송하는 시간대, 발송 내용, 텍스트 색상, 이메일 디자인 등도 포함된다. 따라서 앱의 특정 페이지, 기능에 대해 개선을 하고자 A/B 테스트를 진행할 때, 빠르게 여러 요소들에 대해서 테스트를 해보고, 최종 솔루션을 도출하는 것도 필요하겠다는 생각이 들었다. 그리고 A/B 테스트의 결과는, 테스트를 실행하는 계절, 사회적 배경의 영향도 있을 것으로 생각되어, 주기적으로 전환에 영향을 미치는 요소들에 대해서는 자주 테스트를 돌려가면서 프로덕트를 개선시켜야 겠다는 생각을 하게 되었다. 

 

 

그래서, 쏘카가 이메일 할인쿠폰 테스트를 했었는데, 이메일을 보낸 시간은 적절했는지, 이메일의 디자인이 시각적으로 문제가 되지는 않았는지, 이메일의 제목이 문제가 있지는 않았는지, 이메일에 CTA버튼이 빠지지는 않았는지 등을 요소로 삼아 이메일 캠페인을 향상시킬 수 있기 위해 추가적인 A/B 테스트를 진행해보면 좋을 것 같다는 생각이다. 

 

 

 

-끝-

 

---

그럼 내일 다시 만나자!