دراسة من "مايكروسوفت" تظهر تحدّيات الذكاء الاصطناعي في تصحيح الأخطاء البرمجية

على الرغم من التقدّم التكنولوجي الملحوظ والاستثمارات الضخمة في مجال الذكاء الاصطناعي، يبدو أن هذه الأنظمة لا تزال بعيدة عن تحقيق الدقة البشرية في مجال البرمجة. دراسة حديثة أجرتها شركة 'مايكروسوفت ريسيرش'، الذراع البحثية لشركة 'مايكروسوفت'، كشفت عن نتائج قد تكون مفاجئة للبعض.

الدراسة التي عرضت قدرات بعض من أفضل نماذج الذكاء الاصطناعي المتاحة حاليًا، مثل Claude 3.7 Sonnet من شركة 'أنثروبيك' وo3-mini من 'أوبن إيه آي'، وجدت أن هذه النماذج تفشل في تصحيح العديد من الأخطاء البرمجية التي يتمكن المطوّرون ذوو الخبرة من معالجتها بسهولة. استُخدم SWE-bench Lite كمعيار لتقييم قدرات هذه النماذج في معالجة وتصحيح الأخطاء البرمجية، حيث تبيّن أن الأداء العام كان أقل من المتوقع.

وفقاً للباحثين في 'مايكروسوفت'، حتى النماذج الأكثر تقدماً نادراً ما نجحت في تجاوز نسبة نجاح تصل إلى النصف في مهام التصحيح الموكلة إليها. فقد سجل Claude 3.7 Sonnet أعلى نسبة نجاح بمعدل 48.4%، يليه نماذج 'أوبن إيه آي'، حيث بلغت نسبة نجاح النموذج الأول 'o1' حوالي 30.2%، والنموذج الثاني 'o3-mini' حوالي 22.1%.

الباحثون أشاروا إلى أن الصعوبات التي واجهتها هذه النماذج تعود جزئياً إلى نقص البيانات التي تحاكي عمليات اتخاذ القرار المتسلسلة التي يتبعها المطوّرون في تصحيح الأخطاء، ما يعوق قدرتها على تعلم وفهم طريقة مساعدة أدوات تصحيح الأخطاء المختلفة.

هذه النتائج تسلط الضوء على حقيقة مهمة وهي أن الذكاء الاصطناعي، رغم كونه مساعداً قوياً في العديد من المجالات، لا يزال بحاجة إلى تطويرات كبيرة قبل أن يتمكن من مضاهاة القدرات البشرية في مجال البرمجة. ومع استمرار البحث والتطوير، قد نرى تحسّناً في هذه التقنيات، ولكن حتى ذلك الحين، يظل البرمجيون البشريون ضروريين لتصحيح الأخطاء البرمجية بفاعلية وكفاءة.