تهتم الدول بالبحث العلمي وتعتبره قوة دافعة مهمة لتنمية البلاد، يتزايد عدد الباحثين الذين يكرسون جهودهم للبحث العلمي وينشرون إبحاثاً علمية في مجالات مختلفة مما يضاعف من عدد هذه المؤلفات على اختلاف جودتها وأثرها العلمي. دعت الحاجة لتقييم قيمة ومساهمة الأبحاث العلمية في التنمية إلى ابتكار معايير لتقييمها في المجتمع الأكاديمي. توجد أنواع مختلفة من طرق التقييم، أكثرها شيوعاً واستخداماً هو عدد الاستشهادات من البحث المنشور، يعد عدد الاستشهادات مؤشرًا مهمًا نظرًا لاستخدامه كأساس للعديد من المقاييس الأخرى مثل h-index و g-index ومعامل التأثير impact factor ومؤشر i-10 ومقاييس التقييم الأخرى للمجلات والمؤتمرات والباحثين ومعاهد البحوث. كما ركزت بعض الأبحاث على تحليل المؤلفين المشاركين وتحليل التعاون بينهم (co-author analysis and collaboration analysis) كما قامت بعض الدراسات بتحليل شبكة الاستشهادات (co-citation network). في الأسفل نموذج لشبكات الاستشهادات باستخدام بعض الأوراق العلمية تم إنشاؤه باستخدام هذه الأداة.
أصبح التنبؤ بعدد الاستشهادات المستقبلية ضروريًا بشكل كبير في المجتمع الأكاديمي. هذا التنبؤ مفيد لهدفين:
١- يمكن للباحثين متابعة أحدث الأبحاث في مجال التخصص وأكثرها تأثيراً ليساعدهم على وضع خطة بحث مستقبلية فعالة.
٢- من خلال التنبؤ بعدد الاستشهادات البحثية يمكن للجامعة أو الجهات التي تمول الأبحاث تقييم الأثر المستقبلي لمؤلفي البحث المنشور ومن ضمنها ما إذا كانوا مناسبين لتوظيف في الجامعات وكذلك مدى جدارتهم في الحصول على المنح والجوائز.
تجدر الإشارة إلى أن التنبؤ بالاستشهاد ليس مهمة بسيطة، حيث تتباين الأبحاث العلمية في أنماط الاستشهادات فيما بينها. على سبيل المثال، تبقى بعض الأبحاث على الهامش لسنوات عديدة ثم تجذب الكثير من الاهتمام (تسمى هذه الظاهرة "الجمال النائم في العلم sleeping beauty in science"). بينما تفقد بعض الأبحاث شهرتها تدريجياً بسبب ظهور طرق جديدة أو فقدان قابلية التطبيق. وبالتالي، لا يمكن لقاعدة واحدة أو نموذج بسيط التنبؤ بفعالية بالاستشهادات المستقبلية لبحث ما.
وجدت الأبحاث السابقة أن كل من: مؤلفي البحث، موضوع البحث، طول البحث، لغة البحث، وقائمة المراجع في البحث كان لهم أثر واضح لقياس عدد الاستشهادات المستقبلية للبحث، كما وجد بحث آخر أن عدد الاستشهادات للسنوات الثلاث الأولى كان له أثر واضح بأعداد الاستشهادات المستقبلية.
في الدراسة الأولى تم استخلاص ثمان سمات ببليومترية من الاستشهادات في المراحل الأولى بعد النشر واختبار ما إذا كانت هذه السمات فعالة في التنبؤ بعدد الاستشهادات لأبحاث منشورة في مجال علم وظائف الأعضاء. بعد ذلك تم تحويل المهمة إلى تصنيف ثنائي (Binary Classification) لتحديد البحث المنشور ذا الاستشهادات العالية. وأخيراً، تم تدريب ثلاثة نماذج للتعلم الآلي وشبكة عصبية لاختبار ما إذا كانت هذه النماذج قابلة للتطبيق على مهمة التصنيف الثنائي لعدد الاستشهاد للبحث العلمي المنشور. تم تصنيف الأبحاث إما كونها الأعلى في الزيادة Top Increment Paper-TIP أو الأقل في الزيادة Low Increment Paper-LIP.
بينما في الدراسة الثانية يقترح الباحثون طريقة للتنبؤ بعدد الاستشهادات لبحث علمي بناءً على الاستشهادات الخاصة بها خلال سنوات النشر الأولى. بمعنى آخر يتم استخدام عدد الاستشهادات خلال أول ثلاث إلى خمس سنوات ثم يتم التنبؤ بالاستشهادات في فترة طويلة المدى (على سبيل المثال من الخامسة إلى الرابعة عشرة بعد النشر). الفرق بين الدراسة الأولى والثانية أن المُدخل الوحيد لعملية التنبؤ هو عدد الاستشهادات في كل عام بعد النشر دون استخدام أي مصادر أخرى للبيانات مثل سمات المؤلف وخصائص المجلة ونص البحث، وذلك من أجل الحفاظ على تعريف المشكلة بسيطًا وعامًا وقابل للتطبيق أيضًا في المجالات الأخرى. اعتبر الباحثون مشكلة التنبؤ بالاستشهاد مشكلة انحدار Regression بعد ذلك تم استخدام الشبكات العصبية كنموذج لتعلم مهمة التنبؤ
استخدم الدراسة الأبحاث العلمية المنشورة في ٢٦ مجلة في علم وظائف الأعضاء على Web of Science، تسع مجلات من كانت من الربع الأول JCR Quartile 1 و ١٧ مجلة من الربع الرابع JCR Quartile 4. بلغ عدد الأبحاث التي شملتها الدراسة ٢٦٠٠ بحث منشور في هذه المجلات عام ٢٠١١. تم تصنيف هذه الأبحاث حسب الزيادة في عدد الاستشهادات المتراكمة من ٢٠١١ إلى 2022
جمع الباحثون بيانات الأبحاث البحثية مع الاستشهادات بها من قاعدة بيانات الاستشهاد على Web of Science (WoS) وهي خدمة معروفة لفهرسة الأبحاث العلمية على الإنترنت. درس الباحثون الأبحاث المنشورة في منشورات خمس مجلات مرموقة: Nature و Science و NEJM و Cell و PNAS. الأبحاث المستخدمة في البحث هي التي تم نشرها من ١٩٨٠ إلى ما قبل ٢٠٠٣، وتتضمن ١٥ عامًا من الاستشهادات لكل بحث (جميع الاستشهادات قبل ٢٠١٧).
عدد موضوعات الأبحاث المستشهِدة.
٥- عدد لغات الأبحاث المستشهِدة.
٦- متوسط عدد الاستشهادات التي تم الحصول عليها.
٧- متوسط الزيادة في عدد الاستشهادات التي تم الحصول عليها.
٨- عدد جهات التمويل للاستشهادات.
بينما في الدراسة الثانية، يتم التنبؤ بعدد الاستشهادات البحثية لبحث منشور حتى السنة رقم n بعد نشرها مع الأخذ بعين الاعتبار عدد الاستشهادات لأول k + 1 سنة (من السنة 0 إلى السنة k) بعد نشرها. بمعنى، تتم محاولة المقاربة من العدد الفعلي للاستشهادات عن طريق تقليص الفارق ما بين عدد الاستشهادات المتنبأ به وعدد الاستشهادات الفعلي المعروف مسبقاً. قام الباحثون ببناء نموذج يتعلم التنبؤ بعدد الاستشهادات لبحث ما في المستقبل بناءً على تاريخ الاستشهادات الخاص به (عدد الاستشهادات في كل سنة). يتنبأ النموذج بعدد الاستشهادات كرقم صحيح غير سالب، وبالتالي، تعتبر "مشكلة انحدار" في طرق التعلم الآلي وقد تم استخدام الشبكة العصبية لتعلم الانحدار.
تجدر الإشارة إلى أنه من المهم التنبؤ بعدد الاستشهادات بحيث تشكل كل من المدخلات والمخرجات سلاسل من القيم المتتالية. ولذلك، استخدم الباحثون الشبكات العصبية المتكررة RNNs بسبب فاعليتها في تعلم سلاسل القيم. تتعلم الشبكة العصبية المتكررة RNN عن طريق استخدام نموذج التسلسل إلى التسلسل sequence-to-sequence model، أي يتمكن النموذج من التعرف بشكل فعال على نمط تسلسل الاستشهادات، والتنبؤ بالاستشهادات المستقبلية بشكل سلاسل (السنة الأولى-عدد الاستشهادات في السنة الأولى، السنة الثانية-عدد الاستشهادات في السنة الثانية …. وهكذا إلى السنة الأخيرة
استخدم الباحثون معيارين شائعين من أجل تقييم النموذج المقترح (اسموه NNCP) ومقارنتها بالطرق الأخرى Baseline: الجذر التربيعي للخطأ التربيعي (RMSE)، وثانيًا، معامل التحديد (R2). يقيس RMSE درجة الاختلاف ما بين القيم المتوقعة بالمقارنة مع القيم الفعلية، وبالتالي كلما قلت قيم RMSE دل ذلك على أن النتائج جيدة. بينما درجة R2 تقيس الارتباط بين القيم الفعلية والمتوقعة، وبالتالي كلما ارتفعت قيمة هذا المقياس دل ذلك على صحة النتائج. (يمكن الرجوع للبحث العلمي للاطلاع على نتائج المقارنة بين النموذج المقترح والطرق الأخرى باستخدام حد ٣ سنوات و٥ سنوات من بيانات الاستشهادات).
استخدم الباحثون النموذج المقترح NNCP والطرق الأخرى من أجل التنبؤ بعدد الاستشهادات لـ ١٥ بحث منشور تم اختيارها عشوائيًا من بين أعلى ١٠٠ بحث تم الاستشهاد بها. نستعرض بالأسفل المقارنة بين أداء النموذج NNCP بالمقارنة مع العدد الفعلي للاستشهادات ونتائج الطرق الأخرى (AVR و GMM) لستة أبحاث بحثية من أصل ١٥، تم استخدام الخمس سنوات الأولى كمدخل للنموذج. تظهر هذه المجموعة التباين الكبير بين الأبحاث العلمية وأنماط الاستشهاد بها خلال الـ ١٤ س
نة التي تمت دراستها بها.
