איך מודדים אם ה־AI בשיווק באמת עובד?

התשובה הקצרה

אילו מדדים באמת רלוונטיים

• זמן עד מענה ראשון. המדד שמשתנה הכי מהר כשמכניסים סוכן AI, וגם המנבא הטוב ביותר להמשך.
• אחוז לידים שהגיעו לשיחה. לא כמה נכנסו, כמה דיברו עם מישהו.
• אחוז לידים רלוונטיים. מתוך מי שדיבר, כמה באמת מתאימים. זה המדד של הסינון.
• פגישות שנקבעו והתקיימו. שני מספרים שונים, ושניהם חשובים.
• עסקאות ועלות לעסקה לפי ערוץ. המדד שההנהלה מבינה.
• שעות עבודה שנחסכו. לתוכן, לדוחות, לתיעוד. מודדים פעם בחודש בסקר קצר לצוות, לא מנחשים.

מדדים כמו "כמה שיחות הסוכן ניהל" או "כמה פוסטים יצאו" הם מדדי פעילות. הם מעניינים, אבל לא מוכיחים כלום.

ייחוס: מי מקבל את הקרדיט על העסקה

ייחוס (Attribution) הוא ההחלטה איזה ערוץ או פעולה מקבלים את הקרדיט על עסקה שעברה כמה נקודות מגע. הליד ראה מודעה, קרא מאמר, שאל את ChatGPT, ובסוף הגיע מחיפוש ישיר. מי הביא אותו? אין תשובה נכונה, יש רק שיטה עקבית.

AI מסבך את זה בשני כיוונים: ערוצים חדשים כמו תשובות של מנועי AI כמעט לא משאירים עקבות מדידים, וסוכן AI שמטפל בליד משפר את הסגירה של כל הערוצים בבת אחת, כך שקשה לבודד את התרומה שלו. הפתרון המעשי: שואלים כל ליד איך שמע עליכם (הסוכן יכול לשאול), מודדים לפני ואחרי כל שינוי, ומשנים דבר אחד בכל פעם.

חמש טעויות מדידה נפוצות

1. אין נקודת ייחוס. לא מדדו לפני, ולכן "השתפר" הוא תחושה.
2. משנים שני דברים יחד. סוכן חדש וקמפיין חדש באותו שבוע. מה עבד? אף אחד לא יודע.
3. חלון קצר מדי. שבועיים לא מספיקים למחזור מכירה של חודש.
4. עוצרים בליד. יותר לידים בעלות נמוכה יותר יכולים להיות פחות עסקאות. מודדים עד הסוף.
5. מודדים את הכלי במקום את התהליך. "המודל מדויק" לא אומר כלום אם הנציגים לא משתמשים בציון.

איך בונים דוח חודשי פשוט

עמוד אחד, חמישה מספרים: לידים שנכנסו לפי ערוץ, זמן ממוצע עד מענה, אחוז שהגיעו לשיחה, פגישות שהתקיימו, עסקאות. ליד כל מספר: החודש הקודם, ומה שונה בתהליך. את הדוח יכול לכתוב מודל שפה מתוך הנתונים בעשר דקות. את המסקנה כותב אדם.

כך מודד מומחה בינה מלאכותית לשיווק, יעקב צדק, שבנה מערכות שמדווחות על אלפי לקוחות ולמד מהן ששקיפות במדידה שווה יותר מהבטחות. דוגמאות למדידה של פרויקטים אמיתיים מופיעות במקרי הבוחן באתר הראשי, וסקירה רחבה יותר בבינה מלאכותית לעסקים.