مع التقدم الكبير في تقنيات الذكاء الاصطناعي، أصبح من الممكن استخدام هذه التقنيات في مجالات عديدة، ولكن الذكاء الاصطناعي ما زال يواجه عدة تحديات رئيسية عند التعامل مع التاريخ، وذلك بحسب ما كشفت عنه دراسة حديثة اختبرت قدرات ثلاثة من أهم النماذج اللغوية الكبيرة في الإجابة عن أسئلة تاريخية معقدة.

ولإجراء هذه الدراسة، أنشأ فريق من الباحثين معيارًا جديدًا يُسمى (Hist-LLM)، لاختبار أداء ثلاثة نماذج لغوية كبيرة رائدة، وهي:(GPT-4) من OpenAI، و(Llama) من ميتا، و(Gemini) من جوجل، في الإجابة عن أسئلة تاريخية دقيقة، بحسب موقع البوابة التقنية.

واعتمد هذا المعيار في تقييمه على قاعدة بيانات شاملة للمعرفة التاريخية تُسمى (سشات) Seshat، وهي قاعدة بيانات ضخمة تجمع معلومات تاريخية من مصادر متعددة وتغطي فترات زمنية وأماكن جغرافية مختلفة، وقد سميت هذه القاعدة على اسم سشات، إلهة الحكمة والكتابة والمعرفة في الحضارة المصرية القديمة.

ويركز معيار (Hist-LLM) في اختبار مدى دقة المعلومات التاريخية وموثوقيتها التي يقدمها كل نموذج لغوي، مقارنةً بالمعلومات الموثقة في قاعدة بيانات (Seshat)، مما يساعد في تحديد نقاط القوة والضعف في قدرة النماذج اللغوية الكبيرة على فهم السياق التاريخي واستيعابه والتمييز بين الحقائق التاريخية الصحيحة والمعلومات غير الصحيحة أو المضللة.

عُرضت نتائج هذه الدراسة في مؤتمر (NeurIPS)، وهو أحد أبرز المؤتمرات العالمية في مجال الذكاء الاصطناعي، وجاءت مخيبة للآمال، وفقًا للباحثين المنتسبين إلى معهد الأبحاث (Complexity Science Hub) في النمسا، إذ حقق نموذج (GPT-4 Turbo) أفضل أداء بين النماذج المختبرة، ولكنه لم يحقق سوى دقة تقارب 46% في الإجابة عن الأسئلة التاريخية، ويشير هذا الرقم إلى أن أداء نموذج (GPT-4 Turbo) لم يكن أفضل بكثير من التخمين العشوائي، إذ إن نسبة 50% تمثل احتمالية الإجابة الصحيحة عن سؤال له خياران فقط عن طريق التخمين.

وعلقت ماريا ديل ريو-شانونا، الأستاذة المشاركة في علوم الحاسوب في جامعة كوليدج لندن وأحد مؤلفي الورقة البحثية، على هذه النتائج قائلة: «الخلاصة الرئيسية من هذه الدراسة هي أن النماذج اللغوية الكبيرة أصبحت مثيرة للإعجاب في الكثير من الجوانب التقنية والإبداعية، ولكنها ما زالت تفتقر إلى عمق الفهم المطلوب للتعامل مع البحث التاريخي المتقدم على مستوى الدراسات العليا».

وأوضحت تشانونا تفصيلًا مهمًا حول طبيعة هذه النماذج وقدراتها، إذ أشارت إلى أنها رائعة في استرجاع الحقائق الأساسية والمعلومات العامة وتقديمها، بمعنى آخر، يمكن لهذه النماذج التعامل بكفاءة مع المعلومات التاريخية المباشرة والمتاحة بسهولة، مثل تواريخ الأحداث المهمة أو أسماء الشخصيات التاريخية.

ويؤكد ذلك أن النماذج اللغوية الكبيرة غير قادرة حاليًا على تحليل المصادر التاريخية بشكل نقدي، أو فهم السياق التاريخي المعقد، كما لا يمكنها حاليًا إجراء تحليلات تاريخية مبتكرة أو تقديم تفسيرات جديدة للأحداث التاريخية.

تثير نتائج هذه الدراسة التساؤل عن أسباب ضعف النماذج اللغوية الكبيرة في الإجابة عن الأسئلة التاريخية التقنية، في حين تظهر كفاءة عالية في الإجابة عن أسئلة معقدة في مجالات أخرى مثل البرمجة.

وأرجعت ديل ريو-شانونا ذلك إلى ميل هذه النماذج إلى الاستقراء من البيانات التاريخية الشائعة والبارزة، مما يجعل من الصعب عليها استرجاع المعرفة التاريخية الأكثر غموضًا.

وشرحت ديل ريو شانونا هذه الظاهرة قائلة: «إذا تكرر ذكر (A) و (B) أمامك 100 مرة، وذُكر (C) مرة واحدة فقط، ثم طُرح عليك سؤال حول (C)، فمن المحتمل أن تتذكر (A) و(B) وتحاول الاستنتاج بناءً عليهما».

كشفت الدراسة أيضًا عن توجهات أخرى، منها أن أداء نموذجي GPT-4، و Llama كان أسوأ في مناطق معينة مثل أفريقيا جنوب الصحراء الكبرى، مما يشير إلى وجود تحيزات محتملة في بيانات التدريب المستخدمة.

وأكد بيتر تورتشين، قائد الدراسة وعضو هيئة التدريس في معهد (Complexity Science Hub)، أن نتائج هذه الدراسة تظهر أن النماذج اللغوية الكبيرة لا تزال غير قادرة على الحلول محل البشر في مجالات معينة مثل التاريخ.

ومع ذلك، لا يزال الباحثون متفائلين بإمكانية استفادة المؤرخين من هذه النماذج في المستقبل كأداة مساعدة تساهم في تسريع بعض جوانب البحث وتوفير معلومات أولية، ويعملون حاليًا على تحسين معايير التقييم المستخدمة في دراستهم بإضافة المزيد من البيانات من المناطق الممثلة تمثيلًا ناقصًا، وطرح أسئلة أكثر تعقيدًا.

وتُختتم الورقة البحثية بالتأكيد أن النتائج تسلط الضوء على المجالات التي تحتاج فيها النماذج اللغوية الكبيرة إلى تحسين، وتؤكد أيضًا إمكانات هذه النماذج في المساعدة في البحث التاريخي.