분양 문자 A/B 테스트, 같은 문안만 돌리고 있다면 이렇게 바꿔 보세요
반응이 괜찮았던 분양 문자를 차수마다 그대로 보내다 보면, 반응이 떨어져도 원인을 알 수 없습니다.
문안 때문인지, 발송 시기나 타깃 때문인지 가려낼 근거가 없기 때문입니다.
그렇다고 문안을 한 번에 전부 바꾸면, 결과가 달라져도 무엇 때문인지 알 수 없습니다.
같은 문안을 전부 다시 보내기보다는 대상을 둘로 나눠 한 요소만 바꾼 문안을 함께 보내 보는 편이 낫습니다.
기존 문안도 함께 보내므로 전부 바꾸는 것보다 위험이 적고, 결과를 보면 다음 차수에 무엇을 유지하고 무엇을 바꿀지 판단할 근거가 생깁니다.
A/B 테스트 진행 순서
- 무엇을 기준으로 비교할지 먼저 정합니다.
발송 대비 클릭률로 볼지, 홈페이지 문의율로 볼지 발송 전에 정합니다. - 한 번에 하나만 바꿉니다.
첫 줄을 테스트한다면 이미지·링크 위치·타깃 조건은 그대로 둡니다.
지역·연령처럼 받는 사람의 조건을 바꾸면 문안 차이와 타깃 차이가 섞이므로, 타깃 비교는 ‘타깃 테스트’로 따로 기록합니다. - 대상 조건과 발송 규모를 비슷하게 나눕니다.
매체에서 무작위 분할을 지원하면 활용합니다.
한쪽에 특정 지역·연령이 몰리거나 발송 수 차이가 크면 문안 차이라고 해석하기 어렵습니다. - 가능하면 같은 날, 비슷한 시간대에 보냅니다.
- 건수보다 비율로 봅니다.
발송량이 다르면 클릭 건수만으로는 공정하게 비교할 수 없습니다.
첫 줄 문구 변경 예시
처음 테스트한다면 문자 맨 앞에 보이는 첫 줄 문구만 바꿔 보는 것부터 시작하세요.
나머지 내용은 같게 둡니다.
이렇게 비교해서 알 수 있는 것은 이 현장의 고객이 입지와 계약 조건 중 어느 쪽에 더 반응했는지입니다.
다른 현장에서도 계약 조건을 앞세우면 늘 반응이 더 높다는 뜻은 아닙니다.
첫 줄 다음에는 숫자 표현의 유무, 이미지 포함 여부(LMS/MMS), 링크 위치처럼 한 요소씩 테스트할 수 있습니다.
다만 LMS와 MMS처럼 형식 자체가 달라지면 문안뿐 아니라 메시지 형식의 영향도 함께 보는 테스트가 되므로, 무엇을 바꿨는지 정확히 기록해 두어야 합니다.
발송 날짜와 시간대를 맞추는 이유
월요일에 A를, 수요일에 B를 보내면 결과가 달라도 이유를 단정하기 어렵습니다.
문안 차이에 요일·시간대·현장 이슈의 차이까지 섞이기 때문입니다.
같은 날 비슷한 시간대에 나눠 보내면 이런 조건 차이를 줄일 수 있어 문안끼리 비교하기가 쉬워집니다.
매체 사정으로 같은 날 나눠 보내기 어렵다면, 그 결과는 A/B 테스트보다는 차수 비교에 가깝다고 보고 기록합니다.
다음 차수에서 순서를 바꿔 다시 보내면 참고 근거는 늘어나지만, 그것만으로 문안 효과가 확정되지는 않습니다.
결과를 비교하는 지표
분양 문자는 콜이 현장으로 바로 연결되는 경우가 있어, 별도의 추적 번호가 없다면 어느 문안에서 온 전화인지 나누기 어렵습니다.
그래서 처음에는 문안별로 구분되는 지표부터 봅니다.
클릭 수를 발송 수로 나눈 값입니다.
클릭을 집계할 수 있는 링크를 A와 B에 각각 따로 넣어 셉니다.
매체 보고서에 따라 발송 수 대신 발송 성공 수를 분모로 쓰기도 하므로, A와 B는 같은 분모로 계산한 값끼리 비교합니다.
문의가 어느 문안에서 왔는지 나누려면 문안별로 유입을 구분해 두는 별도 설정이 필요합니다.
설정이 없다면 문의 수는 참고 지표로 봅니다.
문안별 전화번호나 콜트래킹이 없다면 어느 문안의 콜인지 정확히 나눌 수 없습니다.
발송 시점 전후의 콜 변화는 참고 지표 정도로 봅니다.
A와 B의 발송 수가 다르면, 클릭 건수만 비교했을 때 결과를 거꾸로 읽을 수 있습니다.
A를 2,000건 보내 40클릭, B를 18,000건 보내 180클릭이 나왔다면 클릭 건수는 B가 많지만, 발송 대비 클릭률은 A가 2%, B가 1%입니다.
※ 발송 수와 클릭 수는 계산을 설명하기 위한 가상 예시입니다.
결과 해석과 기록
한 차수에서 A의 반응이 더 높았다고 해서 앞으로도 항상 A가 더 좋다고 볼 수는 없습니다.
표본이 적으면 우연한 차이가 커질 수 있고, 현장·시기·타깃이 달라지면 반응도 달라집니다.
발송량이 많지 않은 현장이라면 한 번의 결과보다 여러 차수의 흐름을 보는 편이 안전합니다.
여러 차수에서 같은 쪽의 반응이 계속 높다면 그 문안을 기본 문안으로 두고, 다음 차수에는 다른 요소 하나를 바꿔 테스트합니다.
테스트한 요소와 결과를 차수별로 남겨 두어야 다음 발송의 판단 근거가 됩니다.
| 차수 | 바꾼 요소 | A 문안 | B 문안 | 비교 지표 | 메모 |
|---|---|---|---|---|---|
| 1차 | 첫 줄 | 입지 강조 | 계약 조건 강조 | 발송 대비 클릭률 | 같은 날 오전 발송 |
| 2차 | 링크 위치 | 본문 위 | 본문 아래 | 발송 대비 클릭률 | 1차에서 반응이 더 높았던 첫 줄 유지 |
기록표 예시
광고 문자 표기 요건
A/B 테스트를 해도 광고성 정보 전송 기준은 같습니다.
영리 목적의 광고 문자는 받는 사람의 사전 수신 동의가 있어야 하고(정보통신망법 제50조 제1항), 문안에는 ‘(광고)’ 표시, 전송자의 명칭과 연락처, 수신거부 방법을 적어야 하며(같은 조 제4항, 시행령 제61조), 수신거부에 드는 비용을 받는 사람에게 부담시켜서는 안 됩니다(같은 조 제6항).
A와 B 문안 각각이 이 요건을 갖춰야 합니다.
매체가 일부 항목을 자동으로 붙여 주는 경우도 있으므로, 두 문안 모두에 빠짐없이 들어가는지 발송 전에 확인합니다.
이용하는 매체에 사전 심의나 승인 절차가 있다면 각 문안에 필요한 절차도 미리 확인해야 합니다.
※ 관련 법령: 「정보통신망 이용촉진 및 정보보호 등에 관한 법률」 제50조, 같은 법 시행령 제61조 및 별표 6.
매체별 심의 절차는 각 매체의 운영 기준을 따릅니다.
자주 묻는 질문
Q. 몇 건을 보내야 A/B 테스트가 되나요?
“몇 건이면 충분하다”는 고정 숫자는 없습니다.
평소 반응률과 확인하려는 차이의 크기에 따라 필요한 표본이 달라집니다.
클릭이나 문의가 몇 건 안 나오는 규모라면 한 번의 차이를 결론으로 보지 말고 여러 차수의 결과를 함께 봐야 합니다.
Q. A와 B 결과가 거의 같으면 어떻게 하나요?
두 문안의 효과가 같다고 결론 내리기보다, 이번 조건에서는 뚜렷한 차이가 보이지 않았다고 기록합니다.
표본이 적었을 수도 있으니 데이터를 더 쌓거나, 다음 차수에서 다른 요소 하나를 테스트합니다.
문안을 나눠 보내 보고 싶다면, 집행하려는 매체에서 대상을 나눠 발송할 수 있는지와 문안별 클릭을 따로 집계할 수 있는지 상담에서 확인해 보세요.
분양 광고 상담 신청법령 확인: 정보통신망법 제50조(제1항·제4항·제6항), 시행령 제61조 및 별표 6
※ 예시 문안과 숫자는 설명을 위한 가상 사례입니다.
※ 법률 자문이 아닌 일반 안내입니다. 실제 발송 문안의 법정 표시사항은 발송 전에 최신 법령과 매체 기준으로 확인하시기 바랍니다.
