شات جي بي تي يفشل في تلخيص الأبحاث العلمية

السوسنة - يُعدّ تلخيص النتائج العلمية المعقدة لجمهور غير متخصص من أبرز مهام الصحفي العلمي، وقد اعتُبر إعداد ملخصات للنصوص المعقدة أحد الاستخدامات الواعدة لنماذج اللغة الكبيرة، مثل تلك التي تشغّل روبوتات الدردشة.

وفي هذا السياق، أجرى فريق الجمعية الأميركية لتقدم العلوم دراسة غير رسمية استمرت عامًا كاملًا لتقييم قدرة 'شات جي بي تي' على إنتاج ملخصات علمية مبسطة تشبه تلك التي يكتبها فريق 'SciPak' لمجلة 'ساينس'.

ووجد الباحثون أن 'شات جي بي تي' قادر على محاكاة بنية الموجز العلمي بشكل مقبول، لكنه غالبًا ما يضحّي بالدقة لصالح البساطة، ويحتاج إلى تدقيق بشري دقيق. وقالت الكاتبة أبيغيل آيزنشتات إن هذه التقنيات قد تكون أدوات مساعدة للكتّاب العلميين، لكنها ليست جاهزة للاستخدام الأساسي في الوقت الحالي.

وخلال الفترة من ديسمبر 2023 إلى ديسمبر 2024، اختار الفريق ورقتين بحثيتين أسبوعيًا لتلخيصهما باستخدام ثلاثة محاور بحثية مختلفة.

وركّزت الاختبارات على أوراق تحتوي مصطلحات تقنية واكتشافات مثيرة للجدل وصيغ غير تقليدية.

وتم استخدام النسخة 'Plus' من أحدث نماذج 'GPT' المتاحة للعامة.

في المجمل، تم تلخيص 64 ورقة بحثية، وخضعت هذه الملخصات لتقييم كمّي ونوعي من قِبل كُتّاب 'SciPak' الذين أعدّوا النسخ الأصلية.

وأظهرت النتائج أن النموذج يخلط بين الارتباط والسببية، ويفشل في توفير السياق، ويميل إلى المبالغة باستخدام كلمات مثل 'مبتكر' و'جديد'.

أما في التقييم الكمّي، فقد حصلت ملخصات 'شات جي بي تي' على درجة 2.26 من 5 في إمكانية دمجها ضمن العمل الصحفي، و2.14 في جاذبيتها، فيما حصل ملخص واحد فقط على تقييم '5'، مقابل 30 تقييمًا بقيمة '1'.

وكانت نقاط الضعف أكثر وضوحًا في الأوراق التي قدمت نتائج متعددة، أو عند محاولة تلخيص ورقتين مرتبطتين في ملخص واحد.