وكلاء الذكاء الاصطناعي يحتاجون إلى اختبار قبل مواجهة العملاء
أفادت No Jitter بأن وكلاء الذكاء الاصطناعي في المؤسسات يحتاجون إلى حواجز وقائية ومحاكاة وفحص للإجابات ورؤية تشغيلية قبل النشر المواجه للعملاء، مع إضافة الموردين أدوات لاكتشاف التراجع والرجوع عن الإخفاقات.
الاختبار يسبق تعريض العملاء للأنظمة
تتحول عمليات نشر وكلاء الذكاء الاصطناعي من إطلاق ميزات إلى أنظمة تحكم في العمل المواجه للعملاء، إذ تصبح الحواجز الوقائية والمحاكاة والرؤية التشغيلية طبقة لازمة قبل الاستخدام الحي، بحسب ما أفادت No Jitter.
لا تكمن مشكلة النشر في قدرة الوكيل على الإجابة عن سؤال فقط. وقالت Rebecca Wettemann، الرئيسة التنفيذية والمحللة الرئيسية لدى Valoir، لـ No Jitter إن المؤسسات التي جربت الوكلاء رأت الأنظمة تتصرف بطرق غير متوقعة، بما في ذلك وكلاء موجهون للعملاء يخرجون عن المسار أو يستهلكون أرصدة الرموز خلال الليل.
يعتمد التباين العملي في المادة على الفرق بين أنظمة مراكز الاتصال الحتمية والذكاء الاصطناعي الوكيلي الاحتمالي. فأنظمة IVR التقليدية تتبع قواعد توجيه ثابتة، بينما قد تنتج الوكلاء القائمة على LLM نتائج مختلفة للحالة نفسها. ويدفع هذا الفرق الاختبار من قائمة إطلاق إلى عملية إشراف مستمرة.
الموردون يضيفون المحاكاة وفحص الإجابات
أصبحت الحواجز الوقائية شائعة داخل منتجات الموردين، لكن الطبقة الأحدث هي الاختبار المستمر. وحددت No Jitter شركات NiCE Cognigy وCyara وDialpad وCresta وQuiq بين مزودي قدرات المحاكاة والرؤية والتدقيق أو اختبار وكلاء الذكاء الاصطناعي.
تشمل خدمة Verified Intelligence من Quiq أداة Verify Claim، التي تفحص الإجابة المولدة مقابل بيانات المؤسسة قبل إرسالها، وأداة Process Guides، التي ترمز نبرة العلامة التجارية وسير العمل وقواعد التصعيد. وقال Mike Myer، الرئيس التنفيذي ومؤسس Quiq، لـ No Jitter إن المنصة تراجع ما إذا كان السؤال حساسا أو هجوميا، ثم تفحص الإجابة من حيث الدقة والنبرة والفائدة والامتثال للسياسات.
يهدف هذا المسار إلى كشف الحالات الطرفية قبل وصولها إلى العملاء. وقال Myer إن تشغيل مئات المحادثات الكاملة، لا مثالا نظيفا واحدا، هو ما يكشف الحالات الفوضوية الناتجة عن سلوك الذكاء الاصطناعي غير الحتمي. وتسمح أدوات NiCE Cognigy وCyara كذلك بمحاكاة تفاعلات العملاء لتتبع الإخفاقات إلى المطالبات أو التدفقات أو السياسات.
تغييرات قواعد المعرفة تصنع خطر التراجع
وضعت المادة قواعد المعرفة في مركز نموذج المخاطر لأن الوكلاء البشر ووكلاء الذكاء الاصطناعي يعتمدون عليها للحصول على إجابات معتمدة. فإذا أصبحت مقالة في قاعدة المعرفة قديمة أو أعيدت صياغتها بشكل مربك، فقد يستمر الوكيل في إجابة الأسئلة المعتادة بينما يفشل في الاستثناءات التي كان يعالجها سابقا.
وصف Myer التراجع بأنه إخفاق قد يحدث بعد إصدار نموذج جديد أو تحديث مطالبة أو تعديل مقالة في قاعدة المعرفة. وفي مثال سياسة الإرجاع الذي عرضه، يستطيع الوكيل التعامل مع أسئلة الإرجاع العامة لكنه يبدأ في تقديم إجابات ناقصة حول استثناء دقيق. وتهدف المحاكاة بعد تحديث قاعدة المعرفة إلى اكتشاف هذا التغير قبل ظهوره في محادثة حقيقية.
يجب أن تمتد الرؤية أيضا إلى ما وراء الإجابة النهائية. وقال Myer إن الاختبار يمكن أن يتحقق مما إذا كان الوكيل استدعى واجهة API للحساب بشكل صحيح عند سؤال يتعلق بالفواتير، لا أن يكتفي بفحص ما إذا كان الرد الظاهر يبدو صحيحا. وقالت Quiq إن المسؤول يستطيع إعادة وكيل ضعيف الأداء فورا إلى آخر نسخة سليمة معروفة من دون توقف.
تظهر طبقة تحكم محايدة للموردين
لا يقتصر نموذج التحكم على مورد واحد. وأفادت No Jitter بأن معيار Agent Control Standard ظهر في يونيو كطريقة محايدة للموردين لإنشاء نقاط مراقبة وتحكم عبر دورة حياة الوكيل. وقال Ariel Fogel، المهندس المؤسس والباحث لدى Pillar Security، إن المعيار يعالج تهديدات ونقاط تحكم جديدة تصنعها أنظمة الوكلاء.
بالنسبة إلى المؤسسات، ينتقل الأثر التشغيلي إلى تحديد الملكية. تحتاج فرق مراكز الاتصال وتجربة العملاء والأمن وتقنية المعلومات إلى دليل على أن وكيل الذكاء الاصطناعي اختبر وراقب ويمكن الرجوع عنه، لا إلى إثبات أنه أجاب عن مطالبات تجريبية أثناء الشراء فقط.
وقالت Wettemann لـ No Jitter إن العملاء يريدون محاكاة متكررة قبل الشعور بالراحة تجاه ما سيقوله الوكيل وأين قد يخرج عن المسار. ولم تقدم No Jitter بيانات على مستوى العملاء عن معدلات فشل أدوات الاختبار التي وصفتها.
