איך מבצעים A/B Test על דיוור אלקטרוני?

מנגנון ה– A/B Test נועד להשוות בין ביצועי גרסאות של דיוור נתון, במטרה לאתר את הגרסה המשפיעה ביותר על קהל היעד מתוך מדגם מיצג שלו, ואותה להפיץ חלק הארי של הנמענים. ניתן לבצע את ההשואה על כל מה שקשור להגדרות הדיוור (לרבות שורת הנושא), ניתן לעשותה על גוף הדיוור או על שניהם גם יחד.

על מנת לבצע את הבדיקה נלחץ במסך הגדרות הדוור על כפתור הוסף :A/B Test 

הלחיצה תפתח לנו את אזור הגדרות הדיוור עם מכפלות של ההגדרות. נראה את גרסה A ומתחתיה את גרסה B:

כל גרסה "ארוזה" כיחידה, בראשה שם הגרסה –  A,B,C וכדומה.

בלחיצה על הפלוס בכל שורת גרסה ניתן להוסיף גרסה נוספת. המערכת מאפשרת לבצע השוואה על שתיים עד חמש גרסאות דיוור. אם נרצה להסיר גרסה נלחץ על המינוס:

אם נרצה לבדוק שונות ביצועים לפי פרמטר כלשהו שקשור בהגדרות הדיוור נגדיר אותו בצורה שונה בין הגרסאות השונות במסך זה. השדות ניתנים לעריכה קלה. נוכל להשוות השפעה של שורת נושא שונה, שם השולח, כותרת משנה וכל פרמטר אחר שקשור בהגדרות הדיוור:

במידה ולא נרצה שההשוואה תתבצע על פרמטר שקשור בהגדרות, לאחר שהגדרנו אותן בנקודת המוצא והוספנו A/B Test לא נשנה אותן. המערכת תשכפל את ההגדרות המקוריות ונוכל להתקדם לעריכת הדיוור כך שנייצר את הבדלי הגרסאות ברמת התוכן הפנימי שלו.

כדי לעבור לשלב הבא נלחץ על כפתור המשך בתחתית המסך. הלחיצה תוביל אותנו אל מסך העריכה של דיוור ה- A/B Test:

במצב זה נראה את גרסאות הדיוור השונות שלנו, כמספר הגרסאות שפתחנו בשלב ההגדרות. כל גרסה כוללת את שורת הנושא והכותרת המשנית כפי שהוגדרה אותן בשלב הקודם (ניתן כאן גם לערוך אותן), והיא כוללת את גוף הדיוור כפי שנערוך אותו בשלב הזה. ניתן לדפדף בין הגרסאות השונות בלחיצה על חצי המעבר:

עריכת גוף הדיוור במצב A/B Test זהה לעריכה של דיוור עם גרסה בודדת. עורך הדיוורים מבוסס על עקרון ה- Drag&Drop. כל אלמנט ניתן להזזה על פני הבימה. ניתן לגרור פקדים מהתפריט הצידי לבימה. עריכה של אלמנטים בבימה נעשית בלחיצה עליהם והגדרת ההגדרות הרלוונטיות בחלונית ההגדרות של כל אחד מהם.

בעריכה של A/B Test מרובה גרסאות ישנו דבר שמקל מאד על העבודה והוא כפתור העתק הגרסה. בעזרתו המערכת מאפשרת לנו לייבא את כל העיצוב והתוכן הקיים בגרסה אחת לגרסה אחרת. הדבר שימושי כאשר אנו רוצים להשוות את הפרמטרים שקשורים בהגדרות ולהשאיר את גוף הדיוור אחיד בין הגרסאות. במקרה זה נעצב גרסה אחת ובסיום ונייבא את התוכן שלה לגרסאות האחרות בלחיצת כפתור. הדבר שימושי גם כאשר אנו רוצים להשוות את התוכן בהבדלי ניואנסים (נוסח טקסט הקריאה לפעולה, הבדלים בין התמונות, הבדלי מלל נקודתיים וכו'). נייצר גרסת תוכן אחת, נייבא אותה ועל התוכן המיובא נבצע את שינויי התוכן והעיצוב שנדרשים להשוואה. בצורה זו נעבוד רק על ההבדלים במקום לבנות את הדיוור שוב ושוב עבור כל גרסה.  נעשה זאת כאמור בלחיצה על כפתור העתק גרסה המצוי בראש כל אחת מהגרסאות במסך עריכת הדיוור:

 

הלחיצה תפתח לנו תפריט יורד בו מנויות כל הגרסאות שיצרנו לדיוור, מלבד זו שעליה אנו עומדים באותו רגע נתון. נבחר את הגרסה להעתקה, זו תיובא והתוכן שלה יתיישב במקום הגרסה שמופיעה כרגע.

חשוב: כאשר אנו בוחרים להעתיק גרסה המשמעות היא שכל תכולת הגרסה המועתקת תתיישב במקום תוכן הגרסה בה אנו עומדים ולמעשה תדרוס אותה ואת כל השינוים שביצענו בה עד כה, במידה ובוצעו.

בסיום עריכת תוכן גרסאות הדיוור נלחץ על כפתור המשך, מה שיקדם אותנו לשלב הבא – שלב בחירת הנמענים לדיוור. בשלב זה אין שינוי או הבדל לעומת דיוור רגיל/ עם גרסה בודדת. נבחר את הנמענים שנרצה לדוור ונתקדם לשלב הסופי – שלב הסיכום והשליחה.

בשלב זה נתבקש להגדיר את מאפייני הבדיקה לפיהם תבוצע ההשוואה בין הגרסאות ותאותר הגרסה המנצחת:

 

• נגדיר לכמה אחוזים מסך הנמנענים שיעדנו לקבלת הדיוור יופצו גרסאות הבדיקה (נמענים אלו יקבלו כל אחד גרסה אחת של הדיוור ולא יקבלו אותו שוב כשהמנצחת תופץ ליתרת הרשימה). מקובל להפיץ את הבדיקה ל- 10%-15% מהנמענים. פחות מזה עשוי לתת תוצאות לא מייצגות ויותר מזה יגרום לאובדן טעם ההפצה של הגרסה הטובה ביותר למירב הנמענים.
• נגדיר לפי מה תקבע הגרסה המנצחת – האם לפי פתיחות (במקרה זה שורת הנושא, כותרת המשנה ושם השולח משפיעות), האם לפי כמות ההקלקות בגוף הדיוור (במקרה זה הבדלי התוכן משפיעים) או האם לפי יחס הקלקות לכמות הפתיחות (במקרה זה הן ההגדרות והן התוכן משפיעים).  לידיעה – במצב של שוויון בין גרסאות המערכת תגדיר את גרסה A כמנצחת ואותה היא תפיץ.
• נגדיר מתי יש לבצע את הבדיקה – כעבור כמה זמן מרגע שליחת דיוורי הבדיקה. מטבע הדברים אם נגדיר זמן סמוך מדי לרגע השליחה אנו עשוים לקבל תוצאות מטעות כי לא נתנו לנמעני הבדיקה הזדמנות מספקת לראות את הדיוור בתיבה שלהם ולהגיב אליו. אם נגדיר מועד רחוק מדי מהשליחה נאבד את התזמון בו רצינו לשלוח את הדיוור וההשאווה לא תהיה מדוייקת. לרוב מקובל לקבוע טווח של שעות בודדות משליחת גרסאות הבדיקה.
• נגדיר האם הגרסה המנצחת תשלח לנמענים אוטומטית על ידי המערכת בהגיע רגע הבדיקה או שמה נרצה אנו לשלוח את הגרסה המועדפת עלינו (לא בהכרח המנצחת) ידנית. מקובל להגדיר שליחה אוטומטית, אך במקרה ונרצה את הגמישות להחליט נבחר באפשרות הידנית. במצב זה יהיה עלינו לגשת למסך הדיוורים שלי  בו נבחר את הגרסה המועדפת ואותה נשלח ליתרת הנמענים: