למה הבינה המלאכותית טועה בעובדות על העסק ואיך מאבחנים את המקור

כשצ׳אטבוט מבוסס בינה מלאכותית עונה לא נכון על העסק שלכם, התחילו מהעובדה שעליה התשובה הייתה אמורה להתבסס. תשובה מנוסחת היטב עדיין יכולה לצטט שעות פתיחה ישנות, להשמיט תנאי במדיניות או להתייחס לסניף הלא נכון.

לפני שמשכתבים את ההנחיה, אספו את השאלה המדויקת של הלקוח, את התשובה המאושרת ואת המקור שתומך בה. התיעוד הקצר הזה יעזור להבחין בין בעיית תוכן, בעיה בבחירת המקור ובעיה בתהליך העבודה. כל אחת דורשת תיקון אחר.

המדריך מיועד למי שאחראי על התשובות ללקוחות בעסק קטן. הוא מציע שיטת אבחון וגיליון עבודה שניתן לערוך. הדוגמאות נועדו להמחשה; הן אינן דיווח על אירוע אצל לקוח של Hosqi או תוצאות של בדיקת בינה מלאכותית.

התחילו משאלה אחת ומעובדה מאושרת

בחרו תשובה אחת שאפשר לבדוק. תלונה כללית כמו ״הבוט טועה בשעות הפתיחה שלנו״ משאירה יותר מדי מקום לפרשנות. תעדו את השאלה כפי שהתקבלה, כולל הקשר מועיל כמו הסניף, השירות או התאריך שאליהם היא מתייחסת.

לאחר מכן כתבו את התשובה שהעסק מוכן לעמוד מאחוריה. ציינו גם את תחולתה:

• לאיזה סניף או שירות העובדה מתייחסת?
• האם זו המדיניות הרגילה או חריגה לתאריך מסוים?
• מי יכול לאשר שהמקור עדכני?
• מה העוזר צריך לומר אם השאלה אינה מזהה את הסניף הרלוונטי?

למשל, כדי לענות בבטחה על ״אתם פתוחים בשבת?״ ייתכן שצריך קודם לברר באיזה סניף מדובר. קריטריון הקבלה המתאים עשוי להיות שאלת הבהרה ולא שעת פתיחה. אל תעריכו את העוזר לפי עובדה שלא ברור מהשאלה אם היא רלוונטית.

השתמשו במסמך עסקי מאושר או בעמוד שמתחזק האחראי על המדיניות. תשובה קודמת של הבינה המלאכותית היא תצפית שצריך לחקור, לא מקור מוסמך לתשובה הבאה.

הבדילו בין מידע חסר, מיושן, סותר ולא זמין

לאותה תשובה שגויה יכולות להיות כמה סיבות אפשריות. בחנו אותן בנפרד עד שיהיו לכם ראיות.

התייחסו לאפשרויות האלה כהשערות עבודה. מציאת מסמך ישן אינה מוכיחה שהוא גרם לתשובה. באותה מידה, מציאת העובדה הנכונה באתר שלכם אינה מוכיחה שהשלב שענה השתמש בה.

אל תנסו לתקן את כל חמש האפשרויות בבת אחת. שכתוב נרחב עלול להסתיר את הסיבה המקורית ולהקשות על הסבר של תקלה חוזרת בהמשך.

עקבו אחר העובדה עד לשלב הבינה המלאכותית שעונה

עקבו אחר שאלת הלקוח בתהליך העבודה בפועל. זהו איזה שלב הפיק את התשובה ובדקו אילו מקורות זמינים לו. אל תסתפקו ברשימה של כל מה שהועלה לסביבת העבודה.

תיאור צ׳אטבוט הבינה המלאכותית של Hosqi מסביר שעסקים מאשרים את חומרי המקור ובוחרים מקורות לכל שלב בינה מלאכותית בנפרד. מדריך הגדרת מקורות הידע מתאר גם הכנת חומרים עדכניים ובדיקה שהמקור מוכן לשימוש. התיאורים האלה מצביעים על מקומות שכדאי לבדוק; הם אינם מוכיחים שתשובה מסוימת ללקוח השתמשה בקטע מסוים.

לגבי השלב שעונה, תעדו:

1. את תהליך העבודה ואת השלב שבדקתם.
2. את המקור שנבחר עבור השלב הזה.
3. את תוכן המקור בפועל, כולל התנאי או החריגה הרלוונטיים.
4. את מצב המוכנות והרענון שלו, כפי שהוא מוצג בסביבת העבודה הנוכחית שלכם.
5. את העובדה שעדיין חסרה או את השאלה שנותרה פתוחה, אם המקור אינו יכול לתמוך בתשובה.

בשאלות והתשובות על בינה מלאכותית וידע של Hosqi מצוין שמקור מאתר אינטרנט מכסה עמוד אחד ודורש רענון ידני. עדכון של עמוד אחר או של האתר הפעיל אינו מעיד שמקור שנאסף בעבר כבר עדכני. בדקו את המקור המדויק שבחרתם ואת שיטת הרענון המתאימה לו. אל תניחו שהאתר כולו יובא או ששינויים מאוחרים באתר נקלטו אוטומטית.

התרשים מציג תהליך בדיקה מוצע. הוא אינו מתאר מעקב נסתר אחר פעילות המודל או מסך ניטור מובנה של Hosqi.

פתרו סתירה בין מקורות לפני שמבקשים מהבינה המלאכותית לבחור

הנה עסק בדיוני עם שני מסמכים. הנתונים שלהלן ממחישים סתירה בין מקורות; הם אינם עובדות על לקוח אמיתי או פלט שנצפה מהבינה המלאכותית.

לשאלה ״אפשר להגיע ל-Riverside בשבת בלי לקבוע תור?״, קריטריון התשובה המוצע הוא להסביר שביקור דורש קביעת תור. הוא אינו אישור של הזמנה. בשני המסמכים מופיעה מדיניות אפשרית, אבל רק הערת הסניף העדכנית מתארת את המצב הרלוונטי. לא נערכה בדיקה בדוגמה הזאת.

האחראי על התוכן צריך להחליט איזה מסמך חל על השאלה. תעדו את ההחלטה במקור המתוחזק: סניף, תקופת תוקף, חריגה ואחראי. הסירו חומר שכבר אינו רלוונטי או סמנו בבירור שהוצא משימוש. הפרידו בין מדיניות שונה באמת וציינו את תחולתה.

הוספת הנחיה עמומה כמו ״השתמש תמיד במידע העדכני ביותר״ אינה פותרת את חוסר הבהירות אם המקורות אינם מבהירים מה עדכני. תאריך בשם הקובץ יכול לספק הקשר מועיל, אבל כשלעצמו אינו מעיד שהמדיניות מאושרת או עדיין בתוקף.

כאשר המקורות המאושרים עדיין אינם תומכים בתשובה, הגדירו צעד הבא מועיל. אפשר למשל לשאול לאיזה סניף הלקוח מתכוון או לאסוף את השאלה עבור חבר צוות. הצעד הבא לא צריך להיות ניחוש שנאמר בביטחון.

נהלו יומן אבחון במקום אוסף צילומי מסך

השתמשו ביומן אבחון העובדות העסקיות כדי לשמור יחד את השאלה, המקור והתיקון. כל שורה מתחילה במצב NOT_RUN; הקובץ מכיל בדיקות מוצעות, לא תוצאות מוצלחות.

גיליון העבודה מפריד בין השדות הבאים:

• question: שאלת הבדיקה המדויקת, כולל ההקשר שקובע את תחולתה.
• source_url ו-source_revision: המקור שבדקתם והגרסה, התאריך או מזהה אחר שזמין לכם.
• approved_fact: התשובה או התנאי שאישר בעל העסק.
• observed_answer: הפלט בפועל, שיש למלא רק אחרי בדיקה.
• diagnosis ו-next_action: ההסבר הנוכחי והתיקון המצומצם ביותר שיש לבדוק.
• status: האם המקרה נבדק והאם עמד בקריטריון הקבלה שלכם.

השתמשו בשאלת בדיקה מבוקרת במקום להעתיק פרטים אישיים של לקוח לגיליון עבודה כללי. שמרו על המשמעות שנחוצה לבדיקה. ראיות פרטיות משיחות, אם הן נדרשות, שמרו במקום שבו הצוות שלכם נוהג לשמור חומרים כאלה.

היומן שימושי גם כשהאבחנה עדיין אינה ודאית. ״המקור תוקן; התשובה טרם נבדקה שוב״ הוא תיעוד שמבהיר מה צריך לעשות יותר מאשר ״תוקן״ ללא ביסוס.

בדקו את התיקון ברמת הבדיקה המתאימה

אחרי שינוי במקור או בתהליך העבודה, חזרו על השאלה המקורית והשוו את התשובה לקריטריון המאושר. לאחר מכן הוסיפו כמה בדיקות קרובות:

הבדיקות האלה הן נקודת התחלה, לא מדד השוואתי לדיוק ולא הבטחה לגבי כל תשובה בעתיד. שמרו פלטים בפועל וסמנו בהתאם מקרים שלא נבדקו. אם אותו מקרה מאושר מניב תשובות לא עקביות, תעדו את השונות וחקרו אותה לפני שתכריזו שהתיקון הושלם.

בחרו במכוון את מצב הבדיקה. תיאור בונה תהליכי העבודה של Hosqi מבחין בין סימולציה פרטית לבין תצוגה מקדימה אופציונלית שמשתמשת בבינה מלאכותית אמיתית. סימולציה יכולה לעזור לבחון את המסלול, אבל פלט מדומה של בינה מלאכותית אינו מוכיח כיצד המודל האמיתי עונה לשאלה. תצוגה מקדימה עם בינה מלאכותית אמיתית יכולה לעזור לבחון את התשובה, אבל אינה מעידה על מסירה בערוץ תקשורת עם לקוחות. כשהשאלה נוגעת להתנהגות בערוץ, השתמשו בשיחת בדיקה מורשית ובדקו את התוצאה בפועל.

בדקו את הגבול בין תשובה לפעולה

חלק מהתשובות שנראות שגויות הן הבטחות על עבודה שלא בוצעה. ״התור שלכם הוזמן״ היא טענה שונה מ״יש לי את הפרטים של בקשת התור שלכם״.

תיאור המוצר של Hosqi מפריד בין שיחת הבינה המלאכותית לבין שלבים מפורשים בתהליך העבודה שמבצעים פעולות חיצוניות. כאשר תשובה טוענת שבוצעה הזמנה, עדכון או פעולה אחרת, בדקו את תוצאת הפעולה לצד הניסוח. איסוף פרטי הלקוח אינו מוכיח שמערכת חיצונית קיבלה אותם.

הגדירו קריטריון קבלה מדויק: מה מותר לעוזר לומר לפני הפעולה, איזו תוצאה נחוצה כדי לאשר אותה ומה צריך לקרות אם היא נכשלת? אם אתם מאבחנים עובדה עסקית שגויה, הבדיקה הזאת תמנע מתיקון המקור להסתיר בעיה נפרדת במצב הפעולה.

סגרו את המקרה עם ראיות וצעד הבא מוגדר

סיכום סיום מועיל מציין את השאלה המקורית, העובדה המאושרת, מה השתנה ואילו בדיקות נערכו בפועל. ציינו גם כל מגבלה שנותרה. אל תהפכו תשובה מוצלחת אחת לטענה שהעוזר כולו מדויק עכשיו.

למערך רחב יותר של בדיקות מוצעות, השתמשו ברשימת 20 השאלות לבדיקת בוט תמיכה מבוסס בינה מלאכותית. אם המקרה דורש החלטה של חבר צוות, מדריך האחריות בתיבת הודעות משותפת מציע דרך להשאיר את התשובה הבאה באחריות של גורם מוגדר.

התחילו מתשובה שגויה אחת שחוזרת על עצמה ומלאו ביומן האבחון את העובדה המאושרת ואת המקור שלה. לאחר מכן היעזרו במדריך הגדרת מקורות הידע של Hosqi כדי לבדוק את החומר שזמין לשלב הבינה המלאכותית הרלוונטי.