المنهجية

ما الذي قيس، وعلى أي بيانات، وفي مواجهة من، ووفق أي طرائق — والمواضع الستة التي يكون فيها هذا التقييم أضعف مما يبدو.

لا تفيد نتيجة المعيار المرجعي إلا بقدر ما يفيد بيان طريقة إنتاجها. وهذه الصفحة هي ذلك البيان. وهي في مواضع منها لا تُجمّل الصورة عمداً، لأن البديل — جدول نتائج بلا منهجية وراءه — هو ما يجعل تقييم معظم ادعاءات الدقة في التعرف الضوئي على العربية أمراً مستحيلاً.

المعيار المرجعي

يضم KITAB-Bench (Heakl وزملاؤه، Findings of ACL 2025) ‏8,809 عيّنات عبر تسع مهام و36 مجالاً فرعياً. وقد بنته وحكّمته مجموعة غير مرتبطة بشركة YaiGlobal. فلم نصمّمه، ولم نسهم فيه، ولم نؤثر في تكوينه.

اختيار المهام، وما الذي استُبعد

قُيّمت أربع من المهام التسع. وجرى الاستبعاد الخماسي لأسباب تتعلق بنطاق القدرات، وأُعلن قبل إنتاج النتائج:

• تحويل الرسوم البيانية إلى جداول بيانات، وتحويل المخططات إلى JSON، والإجابة عن الأسئلة البصرية تقيس الاستدلال الدلالي على المستند لا الاستخراج الأمين منه. فهي قدرة مختلفة.
• كشف الأسطر والتعرف على الأسطر يقيسان تمثيلاً داخلياً لا يعرضه المحلّل.

يستبعد كشف بنية الصفحة صفحات DocLayNet الإنجليزية لأن موضوع الدراسة هو معالجة المستندات العربية، ولأن أرقام الأنظمة الأخرى المنشورة تعرض BCE-Arabic وDocLayNet منفصلتين. ولذلك تُجرى المقارنة مع صفوف BCE-Arabic لتلك الأنظمة، ما يُبقيها على بيانات متطابقة.

مصدر أرقام الأنظمة الأخرى — أهم تحفّظ

الغالبية العظمى من أرقام الأنظمة الأخرى مأخوذة من ورقة KITAB-Bench المنشورة، الجداول 4 و5 و6 و9، وقد أنتجها مؤلفو تلك الورقة باستخدام التطبيق الرسمي لكل نظام أو واجهته البرمجية. ولم نُعِد تشغيلها.

ولهذا ميزة واحدة وعيب واحد. فالميزة أننا نقارن بأرقام لم تتح لنا أي فرصة للتأثير فيها. والعيب أن الفروق في بيئة التشغيل أو التعليمات أو المعالجة المسبقة أو إصدار النموذج تتداخل مع الفروق الحقيقية في القدرات.

المقاييس والطرائق المعتمدة

تُعرض معدلات الخطأ نسباً مئوية

معدلا خطأ الحروف والكلمات مسافتا تحرير مُطبَّعتان، تُعرضان عادةً بوصفهما معدلين. ونعبّر عنهما في كل المواضع نسباً مئوية: فمعدل خطأ حروف قدره 0.125 يُعرض بوصفه 12.50%. وهذا تغيير في طريقة العرض فحسب، طُبّق بالتساوي على نتائجنا وعلى كل رقم منقول لنظام آخر، فتبقى المقارنات كلها على أساس مشترك.

وهذه المعدلات لا حدّ أعلى لها عند 100%. فمسافة التحرير تتجاوز طول النص المرجعي حين يُدرج النظام محتوى زائفاً، ويظهر ذلك لدى عدة أنظمة أخرى — إذ يبلغ معدل خطأ الحروف لدى Surya ‏495.00%. وهذه القيم قياسات حقيقية، لا تشوّهات ناتجة عن الحساب.

ولأن الكمية نسبة مئوية أصلاً، نميّز في كل المواضع بين الفرق مقيساً بالنقاط المئوية والفرق النسبي بالنسبة المئوية.

المتوسط الكلّي

أرقام تحويل الصور إلى نص الإجمالية متوسطات كلّية غير مرجَّحة عبر اثنتي عشرة مجموعة فرعية، وفق الطريقة المعتمدة في KITAB-Bench المنشور. وهذه الطريقة تمنح مجموعة فرعية من 10 عيّنات الوزن نفسه الذي تمنحه لمجموعة من 800 عيّنة، فلا تقدّر الأداء المتوقع على صفحة مختارة عشوائياً.

ونتّبع هذه الطريقة لأن أرقام الأنظمة الأخرى المنشورة تتّبعها، والمقارنة تقتضي ذلك. وهي ليست محايدة لصالحنا: فالبديل المرجَّح بعدد العيّنات أسوأ لنظامنا، إذ يبلغ معدل خطأ الحروف 14.08% مقابل 12.50%.

تباين في العدد الرسمي للعيّنات

ثمة عدم اتساق في المعيار المرجعي المصدر ينبغي تسجيله. فتوزيع مجموعات البيانات المنشور يذكر KHATT مرتين ضمن تحويل الصور إلى نص — قسماً من 200 عيّنة لفقرات مكتوبة يدوياً، وقسماً من 200 عيّنة لأسطر مكتوبة يدوياً — ويجعل مجموع المهمة 3,760 عيّنة. أما جدول النتائج الرسمي لكل مجموعة بيانات فيذكر صفاً واحداً لمجموعة KHATT، ومجموع مجموعاته الفرعية الاثنتي عشرة المدرجة 3,560.

ونتّبع الطريقة الرسمية: تُعرض صفوف المجموعات الفرعية الاثنتي عشرة كما قيست، ويُوسَم مجموع المهمة بالرقم 3,760 كما في المصدر. ولا يؤثر هذا الفرق في أي متوسط كلّي، لأن المتوسط الكلّي يُحسب على المجموعات الفرعية لا على العيّنات.

ستة قيود

1. مصدر أرقام الأنظمة الأخرى

معظم أرقام الأنظمة الأخرى منقولة لا مُعاد تشغيلها، فتتداخل التعليمات والمعالجة المسبقة وإصدار النموذج وسلوك الواجهة البرمجية مع القدرة الفعلية. والأخطر أن LlamaParse وLanding AI قيسا داخلياً، وأن LlamaParse هو أقوى نظام منافس في ثلاث من المهام الأربع. ومن شأن التكرار المستقل أن يعزّز هذه الادعاءات تعزيزاً جوهرياً، وإلى أن يتوفر، ينبغي أن تُعطى تلك المقارنات الثلاث وزناً أقل.

2. خمس من المهام التسع لم تُقيَّم

الاستبعادات مبرَّرة، لكنها استبعادات. ولا يتناول أي ادعاء هنا تفسير الرسوم البيانية، أو فهم المخططات، أو الإجابة عن أسئلة حول المستندات، أو الكشف والتعرف على مستوى الأسطر.

3. صغر مجموعات التقييم في بعض المواضع

يستخدم تحويل PDF إلى Markdown ثلاثة وثلاثين مستنداً؛ والمجموعة الفرعية HistoricalBooks عشر عيّنات؛ وفئة الحواشي في كشف بنية الصفحة أربعاً وخمسين حالة؛ وفئة الجداول فيه ثماني وعشرين. والفروق المحسوبة على هذه المجموعات ليست متينة إحصائياً. ولا نعرض فترات ثقة لأن الدرجات على مستوى كل عيّنة غير متاحة لأرقام الأنظمة الأخرى المنشورة. وينبغي قراءة أرقام المجموعات الصغيرة بوصفها مؤشرات.

4. المتوسط الكلّي

كما سبق: لا تقدّر هذه الطريقة الأداء المتوقع على صفحة عشوائية، والبديل المرجَّح بعدد العيّنات أسوأ لنا.

5. تكوين المعيار المرجعي

يشير KITAB-Bench نفسه إلى أنه لا يمثّل تمثيلاً كافياً اللهجات قليلة الموارد والمسوحات المؤسسية كالسجلات الحكومية والمالية، وإلى أن جزءاً كبيراً من مواده في الجداول والرسوم البيانية والمخططات مولَّد اصطناعياً لا مأخوذ من مصادر طبيعية. والأداء القوي هنا لا ينتقل تلقائياً إلى تلك المجالات ضعيفة التغطية.

6. احتمال تداخل بيانات التدريب والاختبار لدى الأنظمة الأخرى

يصعب تفسير معدل خطأ الحروف البالغ 0.00% الذي أُعلن لنموذج AIN-7B على مجموعة ADAB إلا بوجود تداخل بين بيانات تدريبه والمعيار المرجعي. ولا اطّلاع لنا على مدوّنات التدريب لأي من الأنظمة الأخرى. وحيثما تضخّم نتيجة كهذه أداء نظام منافس، يكون الفارق الذي نعلنه أقل من حقيقته؛ ونحن ننبّه إلى ذلك بدلاً من الاعتماد عليه.

ما الذي يمكن ادعاؤه من هذا، وما الذي لا يمكن

العبارة القابلة للدفاع عنها محدودة، ونفضّل أن نصوغها بدقة على أن نصوغها بتعميم:

أما ما لا يمكن ادعاؤه: أن YaiGlobal هو أدق نظام للتعرف الضوئي على العربية دون قيد؛ أو أن النتيجة جرى التحقق منها بشكل مستقل؛ أو أنها تنطبق على المهام الخمس التي لم تُقيَّم. ولم تُكرّر أي جهة مستقلة هذا التقييم حتى الآن. وإن كنت في موقع يتيح لك محاولة ذلك، فنحن نفضّل أن تفعل — تواصل معنا.

المصدر. Heakl, A., Sohail, A., Ranjan, M., Hossam, R., Ahmad, G. S., El-Geish, M., Maher, O., Shen, Z., Khan, F., and Khan, S. (2025). KITAB-Bench: A Comprehensive Multi-Domain Benchmark for Arabic OCR and Document Understanding. Findings of the Association for Computational Linguistics: ACL 2025. arXiv:2502.14949. DOI 10.18653/v1/2025.findings-acl.1135.