שתי מודעות רצו שבועיים באותו קהל. כל אחת קיבלה כ-1,000 קליקים, הראשונה הביאה 20 לידים והשנייה 26. על הנייר זה שיפור של 30 אחוז בשיעור ההמרה, והמסקנה המתבקשת היא לכבות את הראשונה ולהעביר את כל התקציב לשנייה. אלא שבמספרים כאלה ההפרש של שישה לידים קטן מהתנודה הרגילה בין שבוע לשבוע. אם תריצו את אותן שתי מודעות בדיוק עוד שבועיים, יש סיכוי לא קטן שהתוצאה תתהפך. כדי לדעת באמת שהמודעה השנייה טובה יותר בפער כזה, היה צריך פי עשרה קליקים. וזה החשבון שכמעט אף אחד לא עושה לפני שהוא קורא לבדיקה “טסט”.
רוב הבדיקות בתקציב קטן לא מסוגלות להבחין בין מודעות
הסיבה פשוטה: לידים הם אירוע נדיר. כשסופרים 20 אירועים, התנודה הטבעית סביב המספר הזה היא בערך שורש של 20, כלומר כ-4.5 לידים לכל כיוון, בלי ששום דבר השתנה במודעה עצמה. כשמשווים שתי ספירות, הרעש של שתיהן מצטבר.
כלל אצבע שימושי, שמבוסס על אותה לוגיקה: כששתי מודעות קיבלו חשיפה דומה, ההפרש בין מספרי הלידים שלהן מתחיל להיות משמעותי רק כשהוא גדול מפעמיים השורש של הסכום שלהם. בדוגמה מהפתיחה, הסכום הוא 46, השורש שלו כ-6.8, ופעמיים זה כ-13.6. ההפרש בפועל הוא 6. רחוק מאוד מהסף.
כמה זה עולה לעשות את זה נכון? נניח שיעור המרה בסיסי של 2 אחוז מקליק לליד ועלות קליק של 3 שקלים, כלומר כ-150 שקלים לליד. כדי לזהות באופן אמין שיפור מ-2 ל-2.6 אחוז, החישוב הסטטיסטי המקובל (רמת ביטחון של 95 אחוז וסיכוי של 80 אחוז לזהות את השיפור אם הוא קיים) דורש כ-9,800 קליקים לכל מודעה. זה כ-29,000 שקלים לכל צד, כ-58,000 לבדיקה אחת. לעסק שמוציא 5,000 שקלים בחודש על מטא, זו בדיקה של כמעט שנה.
בודקים רק רעיונות שיכולים להכפיל תוצאה
המסקנה מהחשבון הזה היא לא לוותר על בדיקות, אלא לשנות את מה שבודקים. אותו חישוב, כשהפער שמחפשים הוא הכפלה, מ-2 ל-4 אחוז, דורש כ-1,150 קליקים לכל מודעה. בעלות קליק של 3 שקלים זה כ-3,400 שקלים לכל צד, בערך 7,000 שקלים לבדיקה כולה. זה כבר בטווח של עסק קטן או בינוני.
| הפער שמחפשים | קליקים לכל מודעה (בקירוב) | עלות לכל צד ב-3 ש”ח לקליק |
|---|---|---|
| 2% מול 2.6% | 9,800 | כ-29,000 ש”ח |
| 2% מול 3% | 3,800 | כ-11,500 ש”ח |
| 2% מול 4% | 1,150 | כ-3,400 ש”ח |
הטבלה מבוססת על ההנחות שלמעלה. החליפו את עלות הקליק ושיעור ההמרה שלכם, והיחס בין השורות יישאר דומה: פער קטן פי שניים דורש בערך פי שלושה עד ארבעה תנועה.
מה זה אומר בפועל? צבע כפתור, ניסוח אחר לאותה כותרת או החלפת תמונת סטוק בתמונת סטוק אחרת כמעט אף פעם לא יכפילו שיעור המרה. לכן אין טעם לשלם על בדיקה שלהם. מה שכן יכול לעשות פער כזה:
- זווית אחרת לגמרי - מודעה שמדברת על המחיר מול מודעה שמדברת על הזמן שהלקוח חוסך.
- פורמט אחר - סרטון קצר של בעל העסק מדבר למצלמה מול תמונה מעוצבת.
- הצעה אחרת - ייעוץ ראשון בחינם מול מחירון גלוי מול הדגמה של תוצאה.
- קהל יעד אחר באותה מודעה - כשמשנים את מי שרואה, לא את מה שהוא רואה.
שתי מודעות באותה קבוצת מודעות הן לא בדיקה
הטעות השנייה הנפוצה היא טכנית. כשמעלים כמה מודעות לאותה קבוצת מודעות, מערכת ההצגה של מטא לא מחלקת ביניהן את התקציב שווה בשווה. היא מנסה לנחש מהר איזו מודעה תביא יותר תוצאות, ומרכזת בה את רוב ההוצאה. מודעה אחת מקבלת 85 אחוז מהתקציב, השנייה מקבלת שאריות, ולפעמים המערכת “מחליטה” על בסיס כמה עשרות קליקים בלבד.
זה מתאים כשהמטרה היא להוציא את הכסף ביעילות, אבל זה לא מבחן. המודעה שהפסידה לא קיבלה הזדמנות הוגנת, ואי אפשר ללמוד ממנה כלום. כשרוצים באמת לדעת, משתמשים בכלי בדיקת ה-A/B המובנה במנהל המודעות, שמפצל את הקהל כך שכל אדם רואה רק גרסה אחת, או לפחות מריצים כל גרסה בקבוצת מודעות נפרדת עם תקציב קבוע ושווה.
עוד דבר שכדאי לזכור: כל שינוי משמעותי בקבוצת מודעות יכול להחזיר אותה לשלב הלמידה, ובזמן הזה הביצועים לא יציבים. בדיקה שבה נוגעים בתקציב או בקהל באמצע הדרך מודדת בעיקר את ההפרעה.
מדד ביניים זול יותר, אבל רק אם הוא באמת מנבא לידים
כשאין תקציב למאות לידים, מפתה למדוד משהו שקורה הרבה יותר: שיעור הקלקה, צפייה בשלוש השניות הראשונות של סרטון, או עלות לאלף חשיפות. מדדים כאלה מגיעים לנפח מספיק אחרי כמה מאות שקלים, כי יש פי עשרות יותר קליקים מלידים.
הבעיה היא שהם לא תמיד מצביעים לאותו כיוון. מודעה עם הבטחה מוגזמת או תמונה מסקרנת יכולה להביא שיעור הקלקה כפול ולידים גרועים יותר, כי היא מושכת סקרנים ולא קונים. מי שבודק לפי שיעור הקלקה צריך לבדוק פעם אחת, על הנתונים שלו, אם יש קשר בין המדד הזה לבין לידים שהפכו ללקוחות. אם יש, זה קיצור דרך לגיטימי לסינון ראשוני. אם אין, הוא מודד פופולריות.
בהקשר הזה כדאי לחבר את הבדיקה גם לאיכות, לא רק לכמות. ליד שעולה 120 שקלים ולא עונה לטלפון יקר יותר מליד שעולה 180 ונסגר, וזה בדיוק החשבון שמפורט במאמר על כמה באמת עולה ליד. אם ההשוואה היא בין סוגי מודעות שונים, למשל טופס מובנה מול פנייה לוואטסאפ, יש לה מלכודות משלה, שמפורטות במאמר על השוואה בין טופס לידים למודעת וואטסאפ.
תהליך בדיקה שעסק עם 5,000 שקלים בחודש יכול להחזיק
הנה סדר עבודה שמתאים לתקציב חודשי צנוע, בהנחה של כ-150 שקלים לליד:
- מגדירים מראש מה ייחשב ניצחון. למשל: “גרסה ב’ מנצחת אם היא מביאה לפחות פי 1.8 לידים מגרסה א’ באותה הוצאה”. כתבו את זה לפני שמתחילים, כדי שלא תתפתו לקרוא את התוצאות בדיעבד.
- בודקים שני רעיונות בלבד בכל פעם. כל גרסה נוספת מחלקת את התקציב ומכפילה את זמן הבדיקה.
- קובעים תקציב ולא תאריך. במקום “נריץ שבוע”, קובעים “נריץ עד שכל גרסה תוציא 3,000 שקלים”. בעלות קליק של 3 שקלים זה כ-1,000 קליקים לכל צד, קרוב לסף של בדיקת הכפלה.
- לא נוגעים באמצע. לא משנים תקציב, קהל או טקסט עד שהסכום נגמר.
- מפעילים את כלל האצבע. אם ההפרש בלידים גדול מפעמיים השורש של הסכום, יש מנצח. אם לא, התוצאה היא “אין הבדל שאפשר למדוד”, וזו גם תשובה: שתי הזוויות שוות בערך, וממשיכים עם זו שזולה יותר להפיק.
- מתעדים. שורה אחת בגיליון לכל בדיקה: מה נבדק, כמה הוצא, מה יצא. אחרי שנה יש לכם מאגר של מה שעובד אצל הקהל שלכם, ולא רק תחושות.
בקצב כזה אפשר להריץ בדיקה אמיתית אחת כל חודש עד חודשיים, ועדיין להשאיר חלק מהתקציב לקמפיינים שכבר עובדים. איך לחלק את הסכום בין בדיקות לשגרה תלוי בשאר התמהיל, ועל זה יש פירוט במאמר על חלוקת תקציב פרסום קטן. ואם הלידים לא מגיעים בשום גרסה, לפעמים הבעיה בכלל לא במודעה אלא בעמוד שהיא שולחת אליו, ואז כדאי לעבור על סדר הבדיקה של דף נחיתה שלא ממיר לפני שמייצרים עוד קריאייטיבים.
שאלות נפוצות
כמה זמן צריך להריץ בדיקת מודעות במטא?
עדיף להגדיר את הבדיקה לפי סכום או לפי מספר קליקים ולא לפי ימים. עם זאת, כדאי שהיא תכסה לפחות שבוע מלא, כדי שהבדלים בין ימי חול לסוף שבוע לא יעוותו את התוצאה. בדיקה שנעצרת אחרי יומיים כי “כבר רואים מנצח” כמעט תמיד מוקדמת מדי.
אפשר לסמוך על המודעה שמטא בחרה לבד להציג יותר?
אפשר להשתמש בה לשגרה, אבל לא להסיק ממנה מסקנות. המערכת מכריעה מוקדם ועל בסיס מעט נתונים, והמודעה השנייה לא קיבלה חשיפה מספיקה כדי להוכיח משהו. כשרוצים לדעת באמת, משתמשים בכלי ה-A/B המובנה או בקבוצות מודעות נפרדות עם תקציב שווה.
מה עושים אם אין תקציב אפילו לבדיקת הכפלה?
בודקים על מדד ביניים כמו שיעור הקלקה, אבל רק אחרי שבדקתם על הנתונים שלכם שהוא קשור ללידים איכותיים. אפשרות אחרת היא לבדוק את המסרים בערוץ זול יותר, למשל ברשימת התפוצה או בשיחות מכירה, ולהעלות למטא רק את הזווית שכבר הוכיחה את עצמה.
כמה קריאייטיבים חדשים צריך לייצר כל חודש?
אין מספר קבוע. בתקציב של כמה אלפי שקלים בחודש, שתי זוויות חדשות לבדיקה ומודעה אחת או שתיים לרענון השגרה מספיקות בדרך כלל. ייצור של עשר גרסאות שלא יקבלו תנועה מספיקה רק מפזר את התקציב.