دراسة تصحيح AI تبقي البشر في مراجعة الثغرات

لا يزال تصحيح الثغرات ذاتيًا بالذكاء الاصطناعي يبدو كعبء مراجعة أكثر من كونه بديلًا لمهندسي الأمن. ذكرت The Register أن 1Password Off-by-1 Labs اختبرت 6,080 تصحيحًا أنشأتها ChatGPT 5.5 وClaude Opus 4.8 عبر ست CVEs كُشف عنها مؤخرًا.

في نتائج 1Password، بلغ معدل الإصلاح النظيف 26.0%، أي أن التصحيح عالج الثغرة بالكامل من دون تغيير جوهري في سلوك التطبيق. أما معظم المخرجات فإما تركت مسارات استغلال مفتوحة أو غيرت سلوك التطبيق أو أضافت مشكلات أمنية جديدة أو جمعت أكثر من نمط فشل.

نجاح التصحيح يتوزع عبر أنماط فشل عدة

وجد باحثو 1Password أن 20.1% من التصحيحات المولدة بالذكاء الاصطناعي أصلحت الخلل الأصلي لكنها غيرت سلوك التطبيق. ووضعت النتائج نفسها التصحيحات التي أصلحت المشكلة مع إضافة مشكلة أمنية جديدة عند 2.3%، والتصحيحات التي فشلت في إغلاق مسار استغلال قائم واحد على الأقل عند 49.3%، والتصحيحات التي فشلت في إصلاح الخلل وأضافت مسار استغلال جديدًا عند 2.2%.

حتى المخرجات الأفضل شكلًا احتاجت إلى فحص، لأن فريق البحث صنف أكثر من ثلث الإصلاحات النظيفة أو التي غيرت السلوك بأنها هشة. في تلك الحالات، حمى الكود المعدل ضد نمط ثغرة محدد من دون معالجة الضعف الأساسي.

تسمي الورقة هذا النمط FLAWED، اختصارًا لعبارة Fix-Like Artifacts With Embedded Defects. وخلص Axel Mierczuk وSpencer Michaels وKeith Hoodlet إلى أن التصحيحات المولدة بالكامل بواسطة LLM ومن دون مراجعة بشرية تحمل قيمة متوقعة سلبية بفارق كبير.

التوجيه يساعد، لكن التوجيه الخاطئ يضر

غيّر الإرشاد الأولي النتيجة. في اختبارات 1Password وصل نجاح تصحيح LLM إلى 65.0% مع التوجيه الصحيح و50.4% من دون توجيه. أما التوجيه غير الصحيح فخفض معدل النجاح إلى نحو 15.2%.

يبقي هذا الفارق دور المشغل محوريًا. تجادل الورقة بأن المطورين البشر لديهم فرصة أفضل لاكتشاف المعلومات المضللة أثناء تحليل الكود الضعيف، بينما يمكن للتصحيح الآلي اتباع فرضية خاطئة نحو إصلاح مقنع لكنه غير مكتمل.

التكلفة وحدها لا تحسم المسألة. وضعت الورقة متوسط التصحيح الناجح والنظيف عند $6.74 عند احتساب المحاولات الفاشلة، لكن هذا الرقم لا يشمل وقت المهندسين اللازم لمراجعة إصلاحات متشابهة ودقيقة الاختلاف وغالبًا غير مكتملة قبل وصولها إلى كود الإنتاج.

فرق الأمن تحصل على مشكلة تقييم

أصدر فريق Off-by-1 Labs أداة تقييم FLAWED حتى تستطيع المؤسسات اختبار إصلاحات الأمن بدل الثقة بتوليد التصحيحات كما هو. بالنسبة لعمليات الأمن، يبدو مسار النشر الأكثر أمانًا هو المساعدة المحدودة: صياغة تصحيح مرشح، تشغيل تقييم موجه، وإبقاء مهندس مسؤولًا عن تحديد ما إذا كان الضعف الأساسي قد أزيل فعلًا.

يبقى العلاج الذاتي محفوفًا بالمخاطر عندما لا يستطيع التحقق إثبات أن التصحيح يغلق مسارات الاستغلال من دون تغيير سلوك التطبيق أو إنشاء سطح هجوم جديد. وتحول الدفعات الكبيرة من الإصلاحات المقنعة لكنها معيبة تصحيح AI إلى مشكلة فرز وتحقق، لا استجابة ثغرات بلا تدخل.