النتائج الكاملة
كل مهمة، وكل نظام آخر، وكل مقياس — بما في ذلك المقاييس الثلاثة التي يتقدّم فيها نظام منافس.
آخر تحديث:
هذه هي الجداول الكاملة لكل مهمة. اقرأها إلى جانب المنهجية، التي توضح مصدر كل رقم من أرقام الأنظمة الأخرى، ولماذا ينبغي أن تُمنح ثلاث من مقارنات المهام الأربع وزناً أقل من الأولى.
1. تحويل الصور إلى نص
3,760 عيّنة · 17 نظاماً · اثنتا عشرة مجموعة نصوص. في CER وWER الأقل أفضل، وفي chrF الأعلى أفضل. أعمدة Δ فروق نسبية مقارنةً مع YaiGlobal.
| # | النظام | الفئة | CER ↓ | WER ↓ | chrF ↑ | Δ CER |
|---|---|---|---|---|---|---|
| 1 | محلّل YaiGlobal | نظامنا | 12.50% | 25.00% | 85.23 | — |
| 2 | Gemini 2.0 Flash | مغلق | 13.00% | 32.00% | 77.95 | −3.85% |
| 3 | AIN-7B | مفتوح | 20.00% | 28.00% | 78.33 | −37.50% |
| 4 | GPT-4o | مغلق | 31.00% | 55.00% | 61.01 | −59.68% |
| 5 | GPT-4o-mini | مغلق | 43.00% | 71.00% | 47.21 | −70.93% |
| 6 | Azure Document Intelligence OCR | مغلق | 52.00% | 69.00% | 50.97 | −75.96% |
| 7 | Tesseract | إطار عمل | 54.00% | 84.00% | 39.62 | −76.85% |
| 8 | EasyOCR | إطار عمل | 58.00% | 89.00% | 45.47 | −78.45% |
| 9 | LlamaParse | مغلق | 69.00% | 83.00% | 48.35 | −81.88% |
| 10 | PaddleOCR | إطار عمل | 79.00% | 102.00% | 16.73 | −84.18% |
| 11 | Gemma3 | مفتوح | 105.00% | 145.00% | 30.02 | −88.10% |
| — | Landing AI | مغلق | 115.00% | — | — | −89.13% |
| — | Qwen2.5-VL-7B | مفتوح | 120.00% | — | — | −89.58% |
| — | Surya | إطار عمل | 495.00% | — | — | −97.47% |
التوزيع أهم من الترتيب. يبلغ متوسط معدل خطأ الحروف لدى الأنظمة الأخرى 126.19%، والوسيط 74.00%. ولا تحقق معدل خطأ حروف دون 31% إلا ثلاثة أنظمة. فتحويل الصور العربية إلى نص ليس مهمة تؤديها معظم الأنظمة الحالية أداءً مقبولاً، وصِغر المجموعة المتنافسة في القمة ينبغي أن يحدّ من قراءة هذه النتائج على أنها إجماع واسع.
2. الخط اليدوي
أربع مجموعات نصوص مكتوبة بخط اليد: KHATT وADAB وMuharaf وOnlineKhatt. وهي مُدرجة في الإجمالي أعلاه لتحويل الصور إلى نص، كما هي في نتائج الأنظمة الأخرى المنشورة، لكنها تُحلَّل على حدة لأنها تختبر قدرة مختلفة اختلافاً جوهرياً.
| # | النظام | CER ↓ | WER ↓ | Δ CER | Δ WER |
|---|---|---|---|---|---|
| 1 | محلّل YaiGlobal | 14.50% | 37.25% | — | — |
| 2 | Gemini 2.0 Flash | 22.00% | 53.50% | −34.09% | −30.37% |
| 3 | AIN-7B | 26.00% | 47.25% | −44.23% | −21.16% |
| 4 | GPT-4o | 40.00% | 75.00% | −63.75% | −50.33% |
| 5 | Qaari | 50.50% | 69.50% | −71.29% | −46.40% |
| 6 | GPT-4o-mini | 50.75% | 86.00% | −71.43% | −56.69% |
| 7 | Tesseract | 75.75% | 115.50% | −80.86% | −67.75% |
| 8 | Azure Document Intelligence OCR | 76.50% | 89.50% | −81.05% | −58.38% |
| 9 | PaddleOCR | 80.50% | 104.75% | −81.99% | −64.44% |
| 10 | Qwen2.5-VL-7B | 160.75% | 179.50% | −90.98% | −79.25% |
| 11 | Qwen2-VL-7B | 165.50% | 275.00% | −91.24% | −86.45% |
| 12 | Surya | 610.75% | 672.75% | −97.63% | −94.46% |
قارن صفاً بصف مع الجدول الذي فوقه. ينتقل Azure OCR من 52.00% إلى 76.50%، وTesseract من 54.00% إلى 75.75%، وQwen2.5-VL-7B من 120.00% إلى 160.75%. فالأنظمة المضبوطة على العربية المطبوعة لا تنتقل كفاءتها إلى الخط اليدوي. المزيد عمّا يعنيه ذلك عملياً ←
3. التعرف على بنية الجداول
456 عيّنة · 14 نظاماً. يقيس TEDS (التشابه القائم على مسافة تحرير الشجرة) مدى تطابق شجرة الجدول المستخرَجة مع المرجع، فيعاقب على امتداد صف خاطئ كما يعاقب على حرف خاطئ.
| # | النظام أو سلسلة المعالجة | الفئة | TEDS ↑ | Δ TEDS |
|---|---|---|---|---|
| 1 | محلّل YaiGlobal | نظامنا | 97.99 | — |
| 2 | LlamaParse | مغلق | 90.55 | +8.22% |
| 3 | GPT-4o | مغلق | 85.76 | +14.26% |
| 4 | Gemini 2.0 Flash | مغلق | 83.08 | +17.95% |
| 5 | AIN-7B | مفتوح | 75.94 | +29.04% |
| 10 | Surya + Marker | إطار عمل | 50.15 | +95.39% |
| 11 | EasyOCR + Docling | إطار عمل | 49.10 | +99.57% |
| 12 | EasyOCR + Img2Table | إطار عمل | 39.09 | +150.68% |
| 13 | Tesseract + Img2Table | إطار عمل | 38.64 | +153.60% |
| 14 | Tesseract + Docling | إطار عمل | 28.23 | +247.11% |
مقارنةً بمتوسط الأنظمة الأخرى الثلاثة عشر (61.57)، يبلغ الفرق Δ = +59.15%. وقد سجّل كل نوع من أنواع الجداول الثلاثة عشر أكثر من 93.
ملاحظتان. الأولى أن الترتيب بحسب الفئة واضح — المحلّلات المصممة لهذا الغرض في المقدمة، تليها النماذج العامة المغلقة، ثم النماذج مفتوحة الأوزان، وفي المؤخرة توليفات التعرف الضوئي مع سلاسل المعالجة — وهو ما يعكس ترتيب تحويل الصور إلى نص، حيث كان أداء LlamaParse وLanding AI ضعيفاً في النسخ الخام. فبنية الجداول تكافئ وجود نموذج هندسي صريح للصفحة. والثانية أن التفاوت داخل فئة أطر العمل يُظهر أن سلسلة المعالجة اللاحقة لا تقل أهمية عن المحرك الذي يغذّيها: المخرجات نفسها من EasyOCR تسجّل 49.10 عبر Docling و39.09 عبر Img2Table. فدقة الجداول خاصية للسلسلة بأكملها.
4. التحويل الكامل من PDF إلى Markdown
33 ملف PDF متعدد الصفحات مشروحاً يدوياً · 11 نظاماً. هي أقرب ما في KITAB-Bench إلى ظروف التشغيل الفعلية: تتراكم أخطاء التعرف وترتيب القراءة والبنية كلها في مخرَج واحد. وMARS هو مزيج متساوي الوزن من chrF (دقة النص) وTEDS (دقة الجداول).
| # | النظام أو سلسلة المعالجة | الفئة | chrF ↑ | TEDS ↑ | MARS ↑ | Δ MARS |
|---|---|---|---|---|---|---|
| 1 | محلّل YaiGlobal | نظامنا | 79.81 | 80.12 | 79.97 | — |
| 2 | LlamaParse | مغلق | 82.51 | 70.36 | 76.43 | +4.63% |
| 3 | Gemini 2.0 Flash | مغلق | 75.75 | 55.55 | 65.65 | +21.81% |
| 4 | Landing AI | مغلق | 68.14 | 62.53 | 65.33 | +22.41% |
| 5 | GPT-4o | مغلق | 69.62 | 60.61 | 65.12 | +22.80% |
| 6 | GPT-4o-mini | مغلق | 56.59 | 52.69 | 54.64 | +46.36% |
| 7 | EasyOCR + Docling | إطار عمل | 57.46 | 51.12 | 54.29 | +47.30% |
| 8 | AIN-7B | مفتوح | 56.52 | 49.32 | 52.92 | +51.12% |
نظام منافس يتقدّم هنا في دقة النص. يسجّل LlamaParse قيمة chrF بلغت 82.51 مقابل 79.81 لدينا — أي أننا أقل بنسبة 3.27%. ونتصدّر على MARS لأن دقة الجداول أعلى بنسبة 13.87% (80.12 مقابل 70.36)، وMARS يمنح الاثنين وزناً متساوياً. ويُلاحظ أيضاً أن دقة النص ودقة الجداول لدينا متقاربتان في حدود 0.31 نقطة، بينما يبلغ الفرق بينهما لدى LlamaParse 12.15 نقطة — أي نظام جيد في النص وأضعف في البنية.
تستخدم هذه المهمة 33 وثيقة. والفروق المحسوبة عليها ليست متينة إحصائياً.
5. كشف بنية الصفحة
1,700 صفحة من مجموعة BCE-Arabic-v1 العربية · 6 أنظمة. مطابقة IoU مع مراعاة الفئة، بمقاييس كشف الأجسام المعيارية.
| # | النظام | mAP@0.5 ↑ | mAP@0.5:0.95 ↑ | الدقة ↑ | الاسترجاع ↑ | F1 ↑ |
|---|---|---|---|---|---|---|
| 1 | محلّل YaiGlobal | 0.611 | 0.450 | 0.916 | 0.711 | 0.801 |
| 2 | LlamaParse | 0.435 | 0.361 | 0.876 | 0.586 | 0.702 |
| 3 | DETR (Docling) | 0.750 | 0.566 | 0.626 | 0.725 | 0.654 |
| 4 | Surya | 0.506 | 0.381 | 0.751 | — | — |
اثنان من المقاييس الثلاثة التي لا نتصدّرها موجودان في هذا الجدول. يتقدّم DETR في Docling في تحديد المواضع (mAP@0.5 بقيمة 0.750 مقابل 0.611، أي أننا أقل بنسبة 18.53%) وفي الاسترجاع (0.725 مقابل 0.711، أي أقل بنسبة 1.93%). ونتقدّم في الدقة بنسبة 46.33% وفي F1 بنسبة 22.48%.
ملامح نتيجة كشف البنية
الدقة مرتفعة ومستقرة — من 0.750 في الحواشي السفلية إلى 0.983 في تذييلات الصفحات، وتتجاوز 0.86 في سبع فئات من ثماني. أما الاسترجاع فهو العنصر المتغير، من 0.428 في التعليقات التوضيحية إلى 0.949 في ترويسات الصفحات. المحلّل مصيب باستمرار فيما يكتشفه، لكنه غير مكتمل باستمرار في ما يكتشفه — فإخفاقاته إغفالات لا أخطاء في التصنيف.
| الفئة | F1 | ملاحظة |
|---|---|---|
| ترويسة الصفحة | 0.944 | موضع ثابت، يتكرر عبر الصفحات |
| تذييل الصفحة | 0.912 | الدقة 0.983 |
| جدول | 0.863 | الدقة أعلى من 0.95 |
| عنوان قسم | 0.798 | الدقة أعلى من 0.95 |
| متن النص | 0.795 | على أكثر من 6,082 حالة |
| تعليق توضيحي | — | الدقة 0.901، والاسترجاع 0.428 — نقطة الضعف |
| حاشية سفلية | — | الدقة 0.750، والاسترجاع 0.500؛ 54 حالة فقط، والتقدير غير مستقر |
التعليقات التوضيحية هي نقطة الضعف الواضحة، بفجوة بين الدقة والاسترجاع قدرها 0.473 على 1,230 حالة — أي أن نحو ستة تعليقات من كل عشرة لا تُكتشف بوصفها تعليقات توضيحية. والأثر العملي محدد: التعليق غير المكتشف ليس نصاً مفقوداً، إذ يُرجَّح كثيراً أن يُدمج في منطقة متن النص المجاورة، لكن ارتباطه بالشكل أو الجدول الذي يصفه يضيع. وهذا يُضعف تحديداً الاسترجاع الذي يعتمد على الأشكال.
جرّبه على وثائقك أنت
تصف هذه الجداول مجموعة وثائق جهة أخرى. أرسل إلينا أصعب صفحة في مجموعتك — المسح التالف بالماء، أو الحواشي المكتوبة على الهوامش، أو الجدول الممتد عبر طيّة — وسنعالجها ونريك المخرجات إلى جانب المرجع.
النطاق. تقييم أجرته YaiGlobal بنفسها على أربع من مهام KITAB-Bench التسع، و5,949 عيّنة، وسبعة عشر نظاماً آخر. ومعظم أرقام الأنظمة الأخرى منقولة من ورقة KITAB-Bench المنشورة؛ أما LlamaParse وLanding AI فقيسا داخلياً، وLlamaParse هو أقوى نظام منافس في ثلاث من المهام الأربع — انظر مصدر الأرقام. ومجاميع تحويل الصور إلى نص متوسطات كلّية غير مرجَّحة على اثنتي عشرة مجموعة فرعية؛ ويبلغ معدل خطأ الحروف المرجَّح بعدد العيّنات 14.08%. المصدر: Heakl وزملاؤه، Findings of ACL 2025، arXiv:2502.14949.