[Swift iOS] Firebase A/B Testing

서비스를 개선하는 실험 방안 중 하나로 유명한 A/B Test 

 

새로운 피처를 도입하기 전에 사용자들의 니즈를 먼저 파악하기 위해 2주 정도 Firebase A/B Testing 을 진행하였다. 

버튼의 UI 를 변경하여 유저들이 해당 기능에 얼마나 관심이 있는지를 파악하고자 하였고, 

변경된 버튼의 클릭률이 8% 정도 높아 해당 피처의 고도화를 진행하기로 하였다. 

 

새로운 기능이나 기획의 방향에 논리적인 근거가 될 수 있다는 점에서 좋은 방식이라고 생각한다.

개발하는 입장에서 같은 기능을 두개로 나눠서 만들어야 하니 귀찮긴 했는데 그래도 재미있었다.  

 

가설 설정 - A/B 테스트 진행 - 결과 분석 및 도출

 

 

 

A/B 테스트 과정에서 유의할 점

A/B 테스트의 결과는 표본의 수에 따라 크게 달라질 수 있다. 

10명 중 2명은 20% 이고, 10만명 중 2,000명은 2%에 불과하지 않는다. 

표본이 많을수록 A안과 B안의 결과 차이가 작더라도 실험 결과가 통계적으로는 유의미할 수 있고,

표본이 작더라도 A안과 B안의 결과 차이가 크면 마찬가지로 통계적으로 유의미할 수 있다. 

할 때마다 결과가 달라질 수 도 있다. 한 번의 테스트 결과는 우연일수도?

 

 

+ 솔직 후기

처음 가설을 설정할 때 예상했던 클릭률에는 미치지 못하여 조금 찝찝하긴 했다.

이러한 근소한 차이로 새로운 피처 고도화를 진행해도 되는 것일까? 

우리가 세운 가설에 결과를 끼워맞추고 있는 건 아닐까 싶은 의문도 조금 들었다. 

그래서 좀 찾아봤더니 다들 A/B 테스트를 진행하며 비슷한 고민들을 하는 것 같더라.

앞으로 A/B 테스트를 다시 진행해보게 된다면, 예상 표본의 수와 목표 결과를 좀 더 세밀하게 예측하여 가설을 세우고 유의미한 결과를 도출할 수 있도록 해야겠다.  

 

---

참고 :

A/B 테스트 제대로 이해하기

https://yozm.wishket.com/magazine/detail/1633/