التعرف الضوئي على العربية، مقيساً على KITAB-Bench

أربع مهام. 5,949 عيّنة. سبعة عشر نظاماً للمقارنة. الصدارة في عشرة من ثلاثة عشر مقياساً رئيسياً — والمقاييس الثلاثة التي لم نتصدّرها معروضة في هذه الصفحة أيضاً.

آخر تحديث: 2026-09-30

معظم ادعاءات الدقة في التعرف الضوئي على العربية لا يمكن التحقق من صحتها. فهي لا تستشهد بمعيار مرجعي، ولا بعدد عيّنات، ولا بمجموعة مقارنة، ولا بتعريف للمقياس المدّعى. وهذه الصفحة محاولتنا لفعل العكس: أن نبيّن بدقة ما الذي قيس، وعلى أي بيانات، وفي مواجهة من، وأين نخسر.

ما هو KITAB-Bench

KITAB-Bench معيار مرجعي محكَّم للتعرف الضوئي على العربية وفهم المستندات، نشره Heakl وزملاؤه ضمن Findings of ACL 2025. يضم 8,809 عيّنات عبر تسع مهام و36 مجالاً فرعياً، تشمل النص المطبوع والخط اليدوي والجداول والرسوم البيانية والمخططات وتحليل بنية الصفحة والتحويل الكامل لملفات PDF.

وتكمن أهميته في أنه ليس من صنعنا. فالتعرف الضوئي على العربية لا يفتقر إلى تقييمات يحددها المورّدون ويفوزون فيها؛ أما معيار مرجعي بنته مجموعة بحثية غير مرتبطة بنا وخضع للتحكيم، فهو شيء مختلف جوهرياً. شغّلنا نظامنا عليه، ونعرض النتيجة مقارنةً ببقية الأنظمة.

ما الذي قُيِّم، وما الذي لم يُقيَّم

أربع من المهام التسع. ثلاث منها قُيّمت على مجموعة عيّناتها الكاملة في KITAB-Bench.

قُيّم كشف بنية الصفحة على 1,700 عيّنة من أصل 2,100: مجموعة BCE-Arabic-v1 العربية كاملةً، مع استبعاد 400 صفحة إنجليزية من DocLayNet، لأن موضوع الدراسة هو معالجة المستندات العربية، ولأن أرقام الأنظمة الأخرى المنشورة تعرض المجموعتين منفصلتين. ولذلك تُجرى المقارنة مع أرقام تلك الأنظمة على BCE-Arabic، أي على بيانات متطابقة.

لم تُقيَّم خمس من المهام التسع — ومنها مهام الرسوم البيانية والمخططات والأسئلة البصرية. وأي ادعاء نقدّمه محدود بذلك.

النتائج الرئيسية

يُعرض أحد عشر نظاماً من سبعة عشر. يبلغ متوسط معدل خطأ الحروف لدى الأنظمة الأخرى 126.19%، والوسيط 74.00%؛ ولا تحقق معدل خطأ حروف دون 31% إلا ثلاثة أنظمة. فتحويل الصور العربية إلى نص ليس مهمة تؤديها معظم الأنظمة الحالية أداءً كافياً، وصغر المجموعة المتنافسة في القمة ينبغي أن يحدّ من قراءة هذه النتائج على أنها إجماع واسع.

حيث يتقدّم نظام منافس

ثلاثة من ثلاثة عشر مقياساً رئيسياً. ونعرضها لأن مجموعة نتائج لا خسارة فيها ليست قياساً.

لنتيجة كشف بنية الصفحة نمط محدد يمكن تشخيصه. فالدقة 0.916 والاسترجاع 0.711 — أي إن المحلّل مصيب باستمرار فيما يكشفه، لكنه غير مكتمل باستمرار في كشفه. والتعليقات التوضيحية هي نقطة الضعف الواضحة: دقة 0.901 مقابل استرجاع 0.428 عبر 1,230 حالة، ما يعني أن نحو ست تعليقات من كل عشر لا تُكشف بوصفها تعليقات توضيحية. والأثر العملي محدود لكنه حقيقي — فالتعليق غير المكشوف ليس نصاً مفقوداً، بل يُدمج في منطقة المتن المجاورة، غير أن ارتباطه بالشكل الذي يصفه يضيع، وهو ما يُضعف تحديداً الاسترجاع الذي يعتمد على الأشكال.

يتّسع الفارق كلما ازدادت المادة صعوبة

في المجموعات الفرعية المكتوبة يدوياً، يزيد الفارق على ثمانية أضعاف ما هو عليه في المهمة الإجمالية.

والأبرز هو فجوة التعميم لدى الأنظمة الأخرى. إذ يتراجع Azure OCR من معدل خطأ حروف قدره 52.00% في المهمة الكاملة إلى 76.50% في الخط اليدوي؛ وTesseract من 54.00% إلى 75.75%؛ وQwen2.5-VL-7B من 120.00% إلى 160.75%. فالأنظمة المضبوطة على العربية المطبوعة لا تنتقل كفاءتها. أما المحلّل فيتحرك في الاتجاه المعاكس مقارنةً ببقية الأنظمة، ما يدل على أن قدرته على قراءة الخط اليدوي مدرَّبة، وليست ناتجاً جانبياً للتعرف العام على النصوص.

المزيد عن التعرف على الخط العربي اليدوي ←

البنية: الجداول وبنية الصفحة

في التعرف على بنية الجداول، يسجّل المحلّل قيمة TEDS بلغت 97.99 عبر 456 عيّنة، وهي الأعلى بين أربعة عشر نظاماً. ويليه أقرب منافس LlamaParse عند 90.55، ثم GPT-4o عند 85.76، ثم Gemini 2.0 Flash عند 83.08. وتجاوزت النتيجة 93 في كل واحد من أنواع الجداول الثلاثة عشر.

والترتيب بحسب فئات الأنظمة واضح — تتقدّم المحلّلات المصممة لهذا الغرض، تليها النماذج العامة المغلقة، ثم النماذج مفتوحة الأوزان، وتأتي في المؤخرة تركيبات التعرف الضوئي مع خطوط المعالجة. وهذا يعكس ترتيب مهمة تحويل الصور إلى نص، حيث كان أداء LlamaParse وLanding AI ضعيفاً في النسخ الخام. فبنية الجداول تكافئ وجود نموذج هندسي صريح للصفحة، وهو ما تملكه المحلّلات، بينما يتعين على النماذج العامة أن تعيد بناءه من البكسلات في كل مرة.

وفي التحويل الكامل من PDF إلى Markdown، يسجّل المحلّل قيمة MARS بلغت 79.97 عبر 33 ملف PDF موسوماً يدوياً — وهي الأعلى بين أحد عشر نظاماً — مع دقة جداول بقيمة TEDS بلغت 80.12، ودقة نص بقيمة chrF بلغت 79.81، وهذه الأخيرة تأتي بعد LlamaParse. ومجموعة التقييم صغيرة، وتوضح صفحة المنهجية ما يعنيه ذلك للثقة الإحصائية.

نطاق هذه الأرقام. تقييم أجرته YaiGlobal بنفسها لمحلّلها على أربع من مهام KITAB-Bench التسع، و5,949 عيّنة، مقابل سبعة عشر نظاماً آخر. ومجاميع تحويل الصور إلى نص متوسطات كلّية غير مرجَّحة عبر اثنتي عشرة مجموعة فرعية، وفق الطريقة المعتمدة في KITAB-Bench المنشور؛ أما البديل المرجَّح بعدد العيّنات لمعدل خطأ الحروف فهو 14.08%. المعيار المرجعي: Heakl وزملاؤه، KITAB-Bench: A Comprehensive Multi-Domain Benchmark for Arabic OCR and Document Understanding، Findings of ACL 2025، arXiv:2502.14949، DOI 10.18653/v1/2025.findings-acl.1135.