اخبار مصر
موقع كل يوم -صدى البلد
نشر بتاريخ: ٢٤ كانون الأول ٢٠٢٥
أعلنت شركة OpenAI، أنه رغم أن متصفحات الذكاء الاصطناعي قد لا تكون محمية بالكامل من هجمات 'حقن الأوامر' Prompt Injection، إلا أن هذا لا يعني أن الصناعة يجب أن تتخلى عن الفكرة أو تعترف بالهزيمة أمام المحتالين، بل هناك طرق لتحسين الأمان وتعزيز المنتجات لمواجهة هذه المخاطر.
نشر الفريق مدونة جديدة ناقشت مخاطر الأمن السيبراني في متصفح أطلس Atlas المدعوم بالذكاء الاصطناعي، حيث شاركوا رؤيتهم المتشائمة إلى حد ما حول هذه الهجمات، مع التأكيد على أن هناك طرقا للتقليل من المخاطر بشكل فعال.
وجاء في المدونة: “مثل عمليات الاحتيال والهندسة الاجتماعية على الإنترنت، من غير المحتمل أن يتم حل مشكلة حقن الأوامر بشكل كامل، لكننا متفائلون بأن ردود الفعل السريعة والمستجيبة يمكن أن تقلل بشكل كبير من المخاطر الواقعية بمرور الوقت. من خلال الجمع بين اكتشاف الهجمات التلقائي، والتدريب المعادي، والضمانات على مستوى النظام، يمكننا اكتشاف أنماط الهجوم الجديدة بشكل أسرع، وإغلاق الثغرات بسرعة أكبر، وزيادة تكلفة الاستغلال بشكل مستمر”.
حقن الأوامر هو نوع من الهجمات التي يتم فيها 'حقن' أمر خبيث داخل وكيل الذكاء الاصطناعي الخاص بالضحية دون علمهم أو موافقتهم.
على سبيل المثال، يمكن لمتصفح الذكاء الاصطناعي أن يقرأ كل محتويات موقع الويب، إذا كان هذا الموقع خبيثا أو تم اختراقه ويحتوي على أمر مخفي مثل كتابة النصوص البيضاء على خلفية بيضاء، فقد يتفاعل الذكاء الاصطناعي مع هذا الأمر دون أن يدرك المستخدم أي شيء.
كما يمكن أن تشمل هذه الأوامر أشياء مختلفة، من استخراج الملفات الحساسة إلى تحميل وتشغيل إضافات ضارة في المتصفح.
تبدو OpenAI وكأنها تحارب الهجوم بالنار، حيث أنشأت روبوتا تم تدريبه باستخدام التعلم المعزز، وسمحت له بأن يكون 'المهاجم' الذي يبحث عن طرق لاختراق النظام.
ثم يتم وضع هذا الروبوت ضد الذكاء الاصطناعي المدافع، الذي بدوره يحاول الدفاع عن نفسه.
وتستمر هذه الجولة المتبادلة، مما يؤدي إلى تدريب الذكاء الاصطناعي المدافع ليصبح قادرا على اكتشاف معظم تقنيات الهجوم.
الهدف هو أن يكون الذكاء الاصطناعي المدافع أكثر كفاءة في اكتشاف الهجمات وتخفيف المخاطر التي قد تتعرض لها الأنظمة المدعومة بالذكاء الاصطناعي.
