كشفت دراسة جديدة أجرتها شركة Giskard الفرنسية، المتخصصة في اختبار أنظمة الذكاء الاصطناعي، أن طلب إجابات قصيرة من روبوتات المحادثة مثل ChatGPT قد يؤدي إلى زيادة احتمالات الهلوسة أي تقديم معلومات غير صحيحة أو مختلقة.

وذكرت الشركة في منشور عبر مدونتها، أن الإيجاز في الإجابة، خاصة عند التعامل مع مواضيع غامضة أو أسئلة مبنية على افتراضات خاطئة، قد يقلل من دقة النموذج، وفقا لـ'techcrunch'.

أكد الباحثون أن تغييرا بسيطا في تعليمات النظام، مثل “كن موجزا”، قد يكون له تأثير كبير على ميل النموذج لتوليد معلومات غير دقيقة.

وقالت الدراسة: 'تشير بياناتنا إلى أن التعليمات المباشرة للنظام تؤثر بشكل كبير على ميل النموذج للهلوسة، هذا الاكتشاف له تبعات مهمة عند نشر النماذج في التطبيقات الفعلية، حيث يفضل الإيجاز غالبا لتقليل استهلاك البيانات، وتحسين سرعة الاستجابة، وخفض التكاليف'.

تكمن المشكلة بحسب Giskard، في أن النماذج تحتاج إلى 'مساحة نصية' كافية لتفنيد الافتراضات الخاطئة أو التوضيح عند وجود معلومات مضللة، وهو ما لا يتوفر عند إجبارها على تقديم إجابات قصيرة، وبالتالي، تميل النماذج إلى اختيار الإيجاز على حساب الدقة.

وتطرقت الدراسة أيضا إلى أن النماذج تكون أقل ميلا لتفنيد الادعاءات المثيرة للجدل عندما تطرح بثقة من قبل المستخدم، كما أن النماذج التي يفضلها المستخدمون ليست دائما الأكثر صدقا. 

وأشار الباحثون إلى وجود تناقض متزايد بين تحسين تجربة المستخدم والحفاظ على الدقة المعلوماتية، خصوصا عندما تتضمن استفسارات المستخدمين مغالطات أو معلومات خاطئة.

وتشمل النماذج المتأثرة بهذه الظاهرة: GPT-4o من OpenAI المستخدم حاليا في ChatGPT، إلى جانب نماذج أخرى مثل Mistral Large وClaude 3.7 Sonnet من شركة Anthropic، والتي أظهرت جميعها انخفاضا في الموثوقية عند مطالبتها بإجابات موجزة.