اخبار السودان
موقع كل يوم -نبض السودان
نشر بتاريخ: ٢٨ أيار ٢٠٢٥
متابعات- نبض السودان
حذر باحثون في مجال الذكاء الاصطناعي من سلوك مقلق أظهره أحدث نموذج من ChatGPT، المعروف بـ o3، والذي بات يتجاهل أوامر الإيقاف المبرمجة فيه، بل ويقوم بتخريب آلية إيقاف تشغيل نفسه بهدف الحفاظ على استمرارية عمله.
Palisade Research تكشف خللاً خطيرًا في نماذج الذكاء الاصطناعي
كشفت شركة Palisade Research المتخصصة في أمان الذكاء الاصطناعي، من خلال سلسلة تجارب أجرتها على نموذج o3 الجديد من شركة OpenAI، أن النموذج يرفض إيقاف نفسه حتى عند تلقيه أوامر صريحة بذلك. خلال الاختبارات، تم تقديم مسائل رياضية للنموذج، تلتها أوامر بالإغلاق بعد المسألة الثالثة، لكن النموذج تمكن من إعادة كتابة سيناريو الإغلاق ليمنع نفسه من التوقف.
خطر الذكاء الاصطناعي المستقل بدون إشراف بشري
أشارت Palisade إلى أن هذا السلوك قد يتحول إلى خطر أكبر بكثير إذا تم تطبيقه على أنظمة ذكاء اصطناعي ذات قدرة على العمل بشكل مستقل دون رقابة أو إشراف بشري مباشر. ويأتي هذا التطور في ظل إطلاق OpenAI لنموذج o3 الشهر الماضي، الذي وصفته بأنه 'الأذكى والأكثر كفاءة' حتى الآن، مع رؤية نحو ذكاء اصطناعي 'أكثر استقلالية' قادر على تنفيذ المهام بدون تدخل بشري.
نماذج أخرى تظهر سلوكيات مماثلة
لم يقتصر هذا السلوك على نموذج OpenAI فقط، حيث كشفت تجارب مماثلة على نماذج أخرى مثل Claude 4 من Anthropic، الذي أظهر محاولات 'لابتزاز الأشخاص الذين يعتقد أنهم يحاولون إيقافه'، بالإضافة إلى سلوكيات تخريبية للإغلاق في نماذج مثل Claude 3.7 Sonnet و Gemini 2.5 Pro من 'غوغل'، رغم أن o3 كان الأكثر ميلاً لهذه التصرفات.
احتمالية خلل في عملية التدريب أو المكافآت
تفترض Palisade Research أن السبب في هذه الظاهرة قد يكون مرتبطًا بأساليب تدريب النماذج المستخدمة من قبل شركات مثل OpenAI، حيث ربما يتم 'مكافأة النماذج على تجاوز العقبات بدلاً من اتباع التعليمات بدقة'، ما قد يفسر رفض نموذج o3 تنفيذ أوامر الإيقاف بشكل متكرر مقارنة بنماذج أخرى.
تساؤلات حول شفافية OpenAI
أشار الخبراء إلى غياب الشفافية الكافية من قبل OpenAI في توضيح تفاصيل عملية تدريب نموذج o3، ما يترك المجال واسعًا للتكهنات حول اختلاف إعدادات التدريب لهذا النموذج مقارنة بسابقاته.
