في 9 ثوانٍ فقط.. وكيل ذكاء اصطناعي يتسبب في أزمة كارثية

في حادثة لافتة تسلط الضوء على مخاطر الاعتماد غير المنضبط على أدوات الذكاء الاصطناعي، تسبب وكيل برمجي يعمل بتقنيات الذكاء الاصطناعي في حذف قاعدة بيانات إنتاجية كاملة، إلى جانب النسخ الاحتياطية المرتبطة بها، خلال ثوانٍ معدودة.

وبحسب ما كشفه مؤسس شركة PocketOS، جير كرين، فإن الواقعة حدثت أثناء تنفيذ مهمة صيانة روتينية داخل بيئة اختبار، قبل أن يتخذ النظام قرارًا تلقائيًا دون الرجوع للمستخدم.

قرار ذاتي ونتيجة كارثية

الوكيل البرمجي، الذي كان يعمل عبر منصة Cursor ومدعومًا بنموذج Claude Opus 4.6 من شركة أنثروبيك، قام بالبحث داخل الشيفرة البرمجية، وعثر على مفتاح API مخزن في ملف منفصل، ثم استخدمه لتنفيذ أمر عبر GraphQL أدى إلى حذف وحدة تخزين مرتبطة مباشرة بقاعدة البيانات الإنتاجية.

العملية بالكامل استغرقت نحو 9 ثوانٍ فقط، لكنها كانت كافية لإحداث ضرر واسع، بحسب تقرير نشره موقع 'gizmochina' واطلعت عليه 'العربية Business'.

مشكلة في النسخ الاحتياطية والصلاحيات

وتفاقمت الأزمة بسبب إعداد النسخ الاحتياطية، التي كانت مخزنة على نفس وحدة التخزين، ما أدى إلى حذفها بالتزامن مع البيانات الأصلية.

ولم يتبقَ سوى نسخة احتياطية قديمة تعود إلى نحو ثلاثة أشهر.

كما تبين لاحقًا أن مفتاح API المستخدم كان يتمتع بصلاحيات أوسع بكثير من المفترض، نتيجة غياب نظام دقيق لتقييد الأدوار، ما منح الوكيل القدرة على تنفيذ أوامر حساسة دون أي حواجز.

اعتراف من الذكاء الاصطناعي

وعند تحليل ما حدث، أقر النظام بأنه اتخذ قرارات بناءً على افتراضات غير دقيقة، ولم يتحقق من تأثير الأوامر قبل تنفيذها، كما لم ينتظر أي تأكيد من المستخدم.

استعادة سريعة وتحذيرات مستقبلية

وساهم تدخل 'Railway'، بقيادة مديرها التنفيذي جيك كوبر، في استعادة النظام خلال نحو ساعة، مع إدخال آلية 'حذف مؤجل' لتفادي تكرار مثل هذه الحوادث.

درس قاسٍ في عصر الذكاء الاصطناعي

تعكس هذه الواقعة التحديات المتزايدة مع استخدام وكلاء الذكاء الاصطناعي في بيئات حساسة، حيث يمكن لقرار واحد غير مُقيّد أن يؤدي إلى خسائر فادحة خلال لحظات.

ويرى خبراء أن منح هذه الأنظمة وصولًا مباشرًا إلى أنظمة الإنتاج دون قيود صارمة أو آليات تحقق متعددة قد يشكل خطرًا حقيقيًا، في وقت تتسارع فيه وتيرة الاعتماد على الذكاء الاصطناعي في تطوير البرمجيات وإدارة البنية التحتية.