통계적 중요성이 디지털 마케팅을 뒷받침하는 방법

사전에 사실을 확인하지 않고 중요한 결정을 내리지 마십시오.

코드를 먼저 확인하지 않고 번지점프를 하시겠습니까? 먼저 교통 체증을 찾지 않고 길을 건너시겠습니까? 아니면 전원이 꺼져 있는지 확인하지 않고 라이브 퓨즈를 교체합니까?

사실을 먼저 확인하지 않고 결정을 내리면 비용이 많이 들 수 있지만 디지털 마케팅 부문에서 종종 이런 일이 발생합니다.

통계가 거짓말을 할 수 있는 방법

통계적 차이, 추세 및 인과 관계를 조사할 때 정보가 충분하지 않으면 잘못된 그림을 그리기 쉽습니다.

간단한 동전 던지기를 고려하십시오. 동전을 10번 던지면 앞면에 6번, 뒷면에 4번 떨어질 수 있습니다. 이것은 동전을 던질 때 앞면이 나올 확률이 60%라는 것을 의미합니까? 앞면이 나올 가능성에 대한 명확한 그림을 얻으려면 동전을 더 많이 던져야 합니다.

몇 가지 동전 던지기 시뮬레이션을 차트에 표시하면 50번의 동전 던지기 후에도 50% 확률의 진정한 답에서 멀리 떨어져 있을 수 있습니다.

1,000번의 동전 던지기 후에도 답은 실제 답의 ±2%인 48%-52% 사이에서 종종 찾을 수 있습니다.

많은 테스트 없이는 진정한 답이 무엇인지 알 수 있는 방법이 없으며, 과학적이지 않고 결론을 내리기 전에 충분한 사실을 얻지 않고 결론을 내리는 것은 어리석은 일입니다.

타블로이드 신문은 종종 " X 음주는 암을 치료합니다! "," 비타민 X가 대머리를 역전시킨다! ” 또는 “ X를 먹으면 살이 빠진다! ". "시끄러운" 데이터, 통계가 너무 불확실하여 어느 쪽으로든 흔들리고 운이 좋으면 증명하려는 것을 증명할 수 있는 소규모 테스트 그룹을 통해 이러한 주장을 쉽게 할 수 있습니다. 이에 대한 유명한 사례는 수백만 명의 사람들과 주요 출판물을 속여 초콜릿이 체중 감량에 도움이 된다고 생각하게 만든 John Bohannon의 사례입니다.

테스트 대상을 필터링하면 통계가 심하게 왜곡될 수도 있습니다. 예를 들어, 많은 헤어케어 제품 마케터는 이미 제품을 구매했거나, 제품을 무료로 받았거나, 과거에 제품에 관심을 공유한 고객을 인터뷰합니다. 그런 다음 친구나 가족에게 제품을 추천할 것인지 묻습니다. 결과는 일반적으로 80% 이상의 승인 등급을 초과하는 결과로 놀랍지 않을 정도로 긍정적입니다. 이 결과는 인상적인 수의 테스트 대상이 있는 마케팅 자료에 추가될 수 있습니다.

낮은 통계적 유의성이 잘못된 디지털 마케팅 결정을 초래할 수 있는 방법

많은 디지털 마케팅 작업은 몇 가지 기본적인 결정으로 시작됩니다. 테스트에 시간을 할애해야 합니까? 어떤 작업을 먼저 수행해야 합니까? 그런 다음 변경 사항에서 생성된 결과를 식별합니다.

마케팅 담당자가 개선을 위해 최선을 다했음에도 불구하고 통계적 유의성이 낮으면 전반적으로 부정적인 영향을 미칠 수 있는 디지털 마케팅의 세 가지 영역을 살펴보겠습니다.

온라인 유료 광고 계정의 잘못된 변경

유료 광고를 사용하면 투자에 대한 수익을 얻기 전에 미리 자신의 돈을 투자하고 있습니다. 전반적으로 돈을 잃을 위험은 대부분의 온라인 비즈니스 소유자에게 우려의 원인이며 온라인 유료 광고 계정 내에서 일부 성급한 결정으로 이어질 수 있습니다.

예를 들어, 캠페인의 통계를 보고 예상보다 실적이 좋지 않다고 생각하고 더 이상 광고 비용을 '낭비'하지 않도록 해당 캠페인을 삭제하는 것은 매우 쉽습니다. 그러나 캠페인이 올바른 사람들을 올바르게 타겟팅하도록 설정되었다면 가치가 없을 가능성이 매우 높습니다. 종종 클릭이 충분하지 않아 판매가 가능한지 확인할 수 없습니다. 50번의 클릭에 대해 1번의 판매가 이루어진다면 클릭이 100번 미만인 캠페인을 포기하는 것은 성급한 결정이 될 것입니다.

유료 광고 내에서 결정을 내리기 전에 다음 세 가지를 고려해야 합니다.

1. 트래픽이 충분했습니까(충분한 테스트 대상)?
2. 충분한 전환이 있었습니까(충분한 테스트 목표)?
3. 데이터가 어떤 식으로든 치우쳐 있습니까?

트래픽이 충분하지 않은 유료 광고 통계를 보면 실제보다 훨씬 낫다고 생각할 수 있습니다. 예를 들어 아래에는 한 캠페인에서 단 20번의 클릭으로 6번의 전환이 발생한 여러 캠페인의 데이터가 나와 있습니다. 이로 인해 계정 관리자는 이 캠페인이 더 많은 비용을 지출할 가치가 있다고 생각할 수 있지만 실제로는 트래픽이 더 많은 다른 캠페인과 유사한 실적을 낼 수 있습니다.

전환 수가 적기 때문에 다시 트래픽을 크게 늘리지 않는 한 유료 광고의 실적이 얼마나 좋은지 알 수 없습니다. 이는 충분한 데이터를 얻는 데 시간이 충분하지 않거나 평균 1회의 전환을 얻는 데 엄청난 수의 방문자가 필요한 낮은 전환율 때문일 수 있습니다.

마지막으로 고려할 사항은 통계가 다른 날짜 범위 내에서 또는 광고 대상이 되는 사람들의 다른 세그먼트에서 어떻게 왜곡될 수 있는지에 대해 생각하는 것입니다. 통계를 왜곡할 수 있는 큰 계절적 변화가 있을 수 있습니다. 예를 들어, 작년에 영국에서 '선글라스'와 '코트'에 대한 Google 검색 수가 얼마나 많은지 살펴보세요.

아래는 배달된 꽃을 온라인으로 판매하는 웹사이트의 실제 트래픽 데이터입니다. 작년 3월 15일 일요일에 발생한 어머니의 날 며칠 전에 클릭 수가 증가하고 전환율(판매 가능성)이 증가합니다.

따라서 유료 광고 계정을 최적화할 때 이러한 모든 문제를 해결하려면 큰 결정을 내리기 전에 충분한 트래픽과 전환이 있어야 합니다. 또한 왜곡된 데이터를 볼 수 있다는 점에 유의하십시오.

트래픽이나 전환이 충분하지 않은 경우 세션당 페이지 수 또는 평균 세션 시간과 같은 웹사이트 측정항목을 확인하여 방문자가 다양한 채널을 통해 얼마나 참여하고 있는지 확인할 수 있습니다. 이렇게 하면 더 빨리 결정을 내릴 수 있지만 더 명확한 그림을 얻기 시작하려면 여전히 상당한 비율의 클릭이 필요합니다.

양수 또는 음수 계절 추세가 있는 경우 해당 기간에 대한 통계를 살펴보거나 손에 넣을 수 있는 경우 작년 같은 기간의 통계를 가져오십시오.

검색 엔진 순위에 대한 잘못된 가정

검색 엔진 최적화(SEO)는 많은 사람들이 많은 SEO 신화를 믿고 검색 엔진에서 경쟁자를 능가하기 위해 나쁜 관행을 사용하는 복잡한 주제입니다.

우리는 때때로 웹사이트에 대한 특정 변경 또는 웹사이트에 대한 특정 외부 링크가 SEO에 좋거나 나쁜 영향을 미쳤다는 이야기를 듣습니다. "X 웹사이트에서 링크를 얻었고 매출이 X% 증가했습니다." 또는 "웹사이트에서 X를 변경한 다음 매월 X만큼의 트래픽을 잃었습니다."와 같은 진술은 특정 SEO 전략이 반드시 우수해야 한다는 강한 믿음으로 이어질 수 있습니다. 또는 전체 트래픽 또는 판매에 해로운.

검색 엔진 순위는 온라인에서 잠재적으로 관련된 수백만 페이지 중 어떤 페이지를 결과의 맨 위에 배치할지 결정하기 위해 다양한 가중치가 부여된 신호의 조합인 수백 가지 요인에 따라 달라집니다. 순위 상승 또는 하락은 다음과 같이 SEO 활동과 관련이 없을 수 있는 여러 가지 이유로 인해 발생할 수 있습니다.

• 인터넷에서 제거된 강력한 웹사이트는 그 아래에 있는 웹사이트의 순위를 높일 수 있습니다.
• 새로운 강력한 경쟁자는 1위 자리를 차지하여 모든 사람의 순위를 낮출 수 있습니다.
• Google은 특정 SEO 순위 요소를 이전보다 더 또는 덜 중요하게 생각할 수 있습니다.
• 경쟁자는 SEO에서 큰 역할을 하는 외부 백링크를 얻거나 잃을 수 있습니다.
• 주제에 대한 인기 급상승 뉴스나 동영상이 언젠가는 자연 검색 엔진 목록 위에 나타날 수 있습니다.

이는 외부 세력이 웹사이트 자체를 변경하지 않고 웹사이트 순위에 영향을 미칠 수 있는 여러 가지 방법 중 일부일 뿐입니다. 따라서 주장을 뒷받침할 매우 많은 양의 데이터가 없는 한 특정 변경이 SEO에 좋은 영향을 미치거나 나쁜 영향을 미쳤다는 것은 완전한 우연의 일치일 수 있습니다.

통계에서 인과관계와 상관관계의 차이를 아는 것이 중요합니다. 트래픽이 많은 웹사이트가 있는 경우 자연 세션 수를 보여주는 그래프를 보면 큰 변화를 알 수 있습니다.

트래픽 양이 많지 않다면 웹사이트에서 최고의 SEO 및 사용성 사례를 사용하고 전문가에게 전체 웹사이트 검토를 의뢰하여 모든 것이 제자리에 있는지 다시 확인하십시오.

테스트가 코스를 실행하기 전에 분할 테스트 종료하기

A/B 또는 다중 변형 분할 테스트는 성공적인 변형을 찾기 전에 엄청난 양의 트래픽을 다시 요구할 수 있습니다. 운 좋게도 통계적 유의성 뒤에 숨겨진 복잡한 수학은 모든 주요 분할 테스트 소프트웨어에서 자동으로 계산됩니다.

표시된 통계에 따르면 한 변형이 다른 변형보다 낫다는 80~90%의 확신을 갖고 서둘러 실험을 종료할 수 있습니다. 우리는 분할 테스트에서 하나의 변형이 승리할 확률이 90% 이상이라는 것을 확인했지만, 충분한 데이터가 수집되었을 때 실제로 전체를 잃는 것뿐이었습니다.

잠재적으로 잘못된 결론에 도달하기 전에 결과가 99% 이상 중요할 때까지 기다리는 것이 좋습니다. 웹 사이트가 더 나쁜 변형으로 변경된 경우 전환 가능성 측면에서 영구적인 단계가 될 수 있습니다.

트래픽 수준이 낮은 경우 95%의 확실성에 도달할 위험이 있지만 위음성을 보고 있는 5%의 위험이 있음을 기억하십시오. 결과의 20배 중 1개가 보고된 것과 반대일 것입니다.

다음은 트래픽 수준이 낮은 분할 테스트를 위한 몇 가지 빠른 팁입니다.

• 큰 변화는 전환율을 다르게 하고 전체 실험을 더 빨리 종료할 가능성이 높으므로 먼저 테스트하십시오.
• 가능한 한 빨리 웹 페이지 분할 테스트를 시작하십시오. Visual Website Optimizer(사용자 친화적, 유료) 또는 Google Content Experiments(개발 필요, A/B/N 테스트만 가능, 자유롭게 사용)
• 웹사이트의 여러 단계를 동시에 테스트 - 전자 상거래 웹사이트의 경우 홈페이지, 카테고리 페이지, 제품 페이지, 장바구니 페이지, 체크아웃 페이지 및 성공 페이지를 동시에 테스트하고 복합 전환율 비율을 개선할 수 있습니다.

트래픽 수준이 충분히 큰 경우 99.9% 확실성을 테스트하지 않겠습니까? 실험에서 원래 변형보다 더 나쁜 결과가 나온 경우 전체 결과가 너무 큰 영향을 미치지 않도록 테스트할 방문자를 작은 비율로 분류할 수도 있습니다.

결론

일반적으로 많은 테스트 대상(방문자)이 필요한 통계를 기반으로 디지털 마케팅 결정을 내리기 전에 최대한 많은 정보를 수집하십시오. 가비지 인은 통계와 관련하여 가비지 아웃 결과를 가져오므로, 좋은 쪽으로 또는 나쁜 쪽으로 바뀌는 것이 매우 확실하지 않는 한 잠재적으로 유해한 조치를 취하도록 자신을 속이지 마십시오.

통계적 의미가 디지털 마케팅을 뒷받침하는 방법 – https://t.co/0xhxsqHJNl #ppcchat

— 조나단 엘린스(@Jonathan_Ellins) 2016년 2월 25일