1. A/B Test란 무엇인가? 

 A/B 테스트는 대조군(control)과 실험군(treatment)을 비교하는 대조 실험(controlled experiment)입니다. 2000년 중반부터 시작된 테크기업들의 혁신인 린 스타트업, MVP 등의 발전과 역사를 같이 해왔습니다. A/B 테스트는 기업들이 출시한 제품/서비스의 기능 등 지속적으로 발전시키는 작은 변화에 대한 성과를 측정하기 위해 활용될 수 있습니다.

  가장 간단한 A/B 테스트의 형태를 구조화 시키면 다음의 그림과 같습니다. 사용자는 대조군, 실험군으로 각각 분리되어 기존 시스템과 변화가 일어난 시스템을 경험합니다. 그 결과를 분석 및 비교하여 변화에 대한 성과를 측정합니다. A/B 테스트에서 사용자는 대조군, 실험군에 무작위로 분할되며 한번 지정된 분할은 바뀌지 않습니다. 즉 만약 사용자를 온라인 서비스 사용자라고 가정한다면 사용자는 여러번의 사이트에 방문했을 때 동일한 경험을 하게 됩니다. 

2. A/B Test의 활용  

  A/B 테스트는 에어비앤비, 아마존, 부킹닷컴, 이베이, 구글, 마이크로소프트, 넷플릭스, 트위터, 링크드인 등 온라인 서비스를 제공하는 기업에서 많이 활용합니다. 사용자 인터페이스, 관련 알고리즘(검색, 광고, 개인 정보 확인, 추천상품 등), 지연 시간/성능, 콘텐츠 관리 시스템, 고객 지원 시스템 등을 실험하며 웹사이트, 데스크톱 애플리케이션, 모바일 애플리케이션, 이메일 등 다양한 채널에서 실험됩니다. 

  A/B 테스트의 결과 성과 측정 지표(OEC, Overall Evaluation Criterion)로써 사용자별 활동 일수(active days per user), 사용량, 광고 수익 등이 사용 될 수 있습니다. 이러한 성과 측정 지표는 통계에서의 종속변수로 불릴 수 있습니다.  

  구글은 검색 결과 페이지에 대해 41개 색조의 파란색을 시험했으며 색상 수정은 사용자 참여에 긍정적인 결과를 가져온다는 결과를 얻어 지금의 파란색을 채택하여 검색 결과를 보여주고 있습니다. 또한 아마존은 결제시 신용카드를 제안하는 페이지를 추가하는 실험을 통해 연간 수입을 수천만 달러 증가시킬 수 있었습니다.

  A/B 테스트를 활용하여 제품/서비스를 개선한 사례를 분석하여 실험의 절차, 구체적인 성과 등을 확인해 보시기 바랍니다.