[TIL]본캠프 35일차

• 통계적 실험
  • 정의: 어떤 목적을 가지고 관찰을 통해 측정값을 얻어내는 것
  • 목적: 통계적 추론을 통해 보다 진실에 가까운 값을 도출하기 위함
  • 프로세스: 가설 수립 → 실험 설계 → 데이터 수집 → 추론 및 결론 도출
• A/B 테스트
  • 마케팅 고객 데이터 분석 중 가장 널리 사용되는 방법으로 버킷테스트 또는 분할 테스트라고도 불림
  • 정의: 두 가지 처리 방법 중 어떤 쪽이 더 좋은지를 입증하기 위해 실험군을 두 그룹으로 나누어 진행하는 실험
  • 목적: UI/UX 개선, 전환율 증가, 매출 증가 등 다양한 목적에 의해 사용 가능
  • 주요 지표: 서비스의 가입률, 재방문율, CTR(노출 대비 클릭율), CVR(클릭 대비 전환율), ROAS(캠페인 비용 대비 캠페인 수익) 등
• A/B 테스트의 주의사항
  • 표본의 크기가 충분하지 않으면 유의미한 결과를 얻을 수 없음
  • 한 번의 실험에서 하나의 변수만을 변경해야함(두 개 이상의 변수를 변경할 경우 어떤 변수에 의한 영향인지 확인불가)
  • 무작위로 선택된 사용자들에게 각각 다른 변수를 적용해야함
  • 가설 검증을 위한 통계적 분석 방법과 유의수준을 적절하게 설정해야함
  • 테스트의 결과가 통계적으로 유의미하더라도 실제로 의미 있는 결과인지 다시 한번 더 생각해볼 것
  • 테스트 기간이 너무 짧으면 결과를 수집하기 어렵고 너무 길다면 사용자들의 행동이 변할 가능성이 존재: 적절한 기간으로 진행
• 유의수준
  • 표본을 추출하는 순간 모집단과 100% 일치하는 것이 불가능하기 때문에 오류의 가능성이 존재
  • 가설 검정에서 기준이 되는 것이 유의수준으로, 오류 허용 범위로 볼 수 있음
  • 즉, 오류가 나타날 확률로 0.05로 통상적으로 설정함(나타난 결과가 오류일 확률 5%)
• 결과 해석은 어떻게?
  • 검정통계량: 귀무가설을 채택 또는 기각하기 위해 사용하는 확률 변수
  • 검정 방식에 따라 다양한 검정 통계량이 존재(Z검정:Z-value, T검정:t-value,카이제곱검정:x^2-value,F검정:F-value)
  • p-value: 어떤 사건이 우연히 발생할 확률로 0에서 1 사이의 값을 가짐
  • p-value가 유의수준보다 작은 경우, 우연히 일어날 가능성이 거의 없기 때문에 대립가설을 채택할 수 있음

---

통계 처음보단 많이 이해가 된다..!!

역시 추가세션이 도움이 많이 되는 듯👊