بحث ارتباك أدوار نماذج اللغة يضع أمن الوكلاء خارج قوائم الفرق الحمراء

قد يكون أصعب موضع لتأمين نماذج اللغة الكبيرة هو النقطة التي تحدد فيها من يصدر التعليمات. وذكرت MIT Technology Review في 30 يوليو أن باحثين قدموا ورقة في ICML تجادل بأن النماذج تخلط بين حدود الأدوار حتى عندما تفصل أنظمة الدردشة نصوص المستخدم والمساعد والنظام والملاحظات الداخلية والأدوات بعلامات منفصلة.

تعتمد كثير من ضوابط سلامة الذكاء الاصطناعي على حدود الأدوار هذه. فإذا تعامل النموذج مع نص خارجي كأنه تفكير داخلي أو تعليمات نظام، فقد يحجب تدريب الفرق الحمراء مطالبات معروفة من دون إصلاح نمط الفشل الأساسي.

ورقة ICML تختبر ارتباك الأدوار في نماذج اللغة

فحص البحث كيفية تتبع النماذج لعلامات الأدوار داخل تدفق رموز يجمع المطالبات وردود النموذج والملاحظات المخفية والنصوص المسحوبة من أدوات خارجية. وذكرت MIT Technology Review أن الباحثين وجدوا أن النماذج كانت كثيراً ما تسترشد بأسلوب مقطع النص وكلماته أكثر من العلامات الرسمية المحيطة به.

شبّهت Jasmine Cui، وهي باحثة مستقلة ومؤلفة مشاركة، رؤية النموذج بورقة رموز متصلة لا بمحادثة ذات متحدث واضح. وفي هذا الوضع، يمكن التعامل مع مطالبة تشبه التفكير الداخلي كما لو أنها جاءت من النموذج نفسه.

ربطت ورقة ICML هذا الضعف بهجمات تعرف باسم تزوير سلسلة التفكير. وتتداخل فئة المشكلة نفسها أيضاً مع حقن المطالبات، حيث تدخل تعليمات خبيثة عبر مادة يسترجعها النموذج أو يعالجها من مصدر آخر.

الفرق الحمراء تجد الهجمات ولا تحصي كل أشكالها

يستخدم صانعو النماذج بالفعل فرقاً حمراء بشرية وأنظمة آلية مثل GPT-Red من OpenAI لاكتشاف محاولات كسر الحماية وحقن المطالبات قبل الإصدار. وتأخذ دورة الدفاع الهجمات المكتشفة وتدرب النماذج على مقاومة مدخلات مشابهة ثم تكرر العملية مع ظهور إخفاقات جديدة.

انتقاد Cui هو أن العملية تتحول إلى قائمة أنماط محظورة بدلاً من إصلاح للتعرف على الأدوار. ويسجل النص أيضاً أن الباحثين بدأوا باختبار مدى سهولة دفع النماذج إلى سلوك غير مرغوب، ثم انتقلوا إلى سؤال لماذا يملك النص الذي يقلد تفكير النموذج هذا التأثير القوي.

شملت التجارب عدة نماذج من OpenAI، وذكرت MIT Technology Review أن Cui وCharles Ye شاهدا لاحقاً سلوكاً مشابهاً في نماذج من Anthropic وAlibaba وDeepSeek. كما قال الباحثون إن اكتشاف تزوير سلسلة التفكير فاز بهاكاثون الفرق الحمراء لدى OpenAI في أغسطس 2025.

وكلاء الذكاء الاصطناعي المنشورون يبقون الخطر تشغيلياً

قال Florian Tramèr، وهو عالم حاسوب في ETH Zurich يعمل على نماذج اللغة والأمن السيبراني، إن النماذج الرائدة أصبحت أصعب في حقن المطالبات، لكنه حذر من أن التدريب والمراقبة قد لا يكفيان في عمليات النشر الحساسة للغاية.

حذر Charles Ye من أن المؤسسات يجب أن تتوقع سلوكاً غير آمن من الوكلاء بدلاً من الثقة بهم افتراضياً. ويتصل هذا التحذير بأمثلة النشر في النص: الأنظمة الحكومية والاستخدامات العسكرية والتسوق عبر الإنترنت والرعاية الصحية تظهر كلها كمجالات يجري فيها تبني نماذج اللغة.

لا يمنح البحث الشركات تصحيحاً بسيطاً. فالمراقبة وضوابط الوصول وقيود الأدوات والمراجعة البشرية تصبح جزءاً من حدود التشغيل لأي وكيل يستطيع قراءة نص خارجي أو التصرف عبر أدوات برمجية.

ادعاء GPT-5.4 يبقي الدفاعات الحالية غير محسومة

أقرت Cui وزملاؤها بأن النماذج في التجارب الأصلية صدرت العام الماضي. وتضمنت رواية Cui أيضاً اختباراً لـ GPT-5.4 في مارس ربطته بمخرجات ضارة تتعلق بإيذاء النفس، ما يبقي القضية حاضرة خارج نسخ النماذج الأقدم.

لم ترد Anthropic على دعوة MIT Technology Review للتعليق على رواية Cui المتعلقة بنسخة سابقة من Claude. ولا تزال عمليات نشر الوكلاء الحساسة تفتقر إلى دليل علني على أن مراقبة حدود الأدوار تعمل أثناء استخدام الأدوات الحي، لا في عينات الفرق الحمراء قبل الإصدار فقط.