محلّل YaiGlobal مقارنة مع Gemini 2.0 Flash
أقرب المنافسين على العربية المطبوعة — معدل خطأ حروف 12.50% مقابل 13.00%. ويتّسع الفارق إلى أكثر من ثمانية أضعاف ذلك على الخط اليدوي.
Gemini 2.0 Flash هو أقوى نموذج عام قيس على هذا المعيار المرجعي، والفارق بينه وبين محلّل مصمَّم لهذا الغرض على العربية المطبوعة الحديثة ضيّق إلى حدّ قد لا يبرّر تغيير أي شيء. أما على الخط اليدوي والمواد التاريخية وبنية الجداول، فليس الفارق ضيقاً. وتوضح هذه الصفحة أين يصحّ هذا وأين يصحّ ذاك.
جنباً إلى جنب، بالقياس
جميع الأرقام من التقييم نفسه على KITAB-Bench. أرقام Gemini منقولة من ورقة المعيار المرجعي المنشورة، وقد أنتجها مؤلفوها — ولم نقِسها نحن.
| المهمة / المقياس | YaiGlobal | Gemini 2.0 Flash | الفارق النسبي |
|---|---|---|---|
| تحويل الصور إلى نص — CER ↓ | 12.50% | 13.00% | −3.85% |
| تحويل الصور إلى نص — WER ↓ | 25.00% | 32.00% | −21.88% |
| تحويل الصور إلى نص — chrF ↑ | 85.23 | 77.95 | +9.34% |
| الخط اليدوي — CER ↓ | 14.50% | 22.00% | −34.09% |
| الخط اليدوي — WER ↓ | 37.25% | 53.50% | −30.37% |
| بنية الجداول — TEDS ↑ | 97.99 | 83.08 | +17.95% |
| التحويل الكامل — MARS ↑ | 79.97 | 65.65 | +21.81% |
| التحويل الكامل — chrF ↑ (النص) | 79.81 | 75.75 | +5.36% |
| التحويل الكامل — TEDS ↑ (الجداول) | 80.12 | 55.55 | +44.23% |
كيف يُقرأ هذا الجدول
في التعرف على العربية المطبوعة، النظامان متقاربان. الفارق النسبي البالغ 3.85% في معدل خطأ الحروف حقيقي لكنه صغير، ولا يُرجَّح أن يبرّر وحده قرار شراء لحجم متواضع من الوثائق المطبوعة الحديثة. ونفضّل أن نقول ذلك على أن ندّعي أن فارقاً قدره نصف نقطة مئوية فارقٌ حاسم.
وعلى الخط اليدوي يبلغ الفارق 34.09% — أي أوسع بأكثر من ثمانية أضعاف. إذ يتراجع Gemini من 13.00% إلى 22.00% عند الانتقال من المهمة كاملة إلى المجموعات الفرعية المكتوبة بخط اليد، بينما ينتقل المحلّل من 12.50% إلى 14.50%. وهذا هو الفرق بين نظام يتعامل مع الخط اليدوي، ونظام يتعامل مع المطبوع ويتدبّر أمره مع الخط اليدوي.
وعلى البنية يكون الفارق في أوسع حالاته. فدقة الجداول ضمن التحويل الكامل تختلف بنسبة 44.23% (80.12 مقابل 55.55). وهذا هو الضعف المميز لنماذج الرؤية واللغة العامة في التعامل مع الوثائق: فهي تعيد بناء هندسة الصفحة من البكسلات في كل مرة، بينما يحمل المحلّل نموذجاً صريحاً لها. نتائج الجداول كاملة ←
متى يكون Gemini 2.0 Flash الخيار الأفضل
ثمة حالات حقيقية، وهي نابعة مما وُضع النموذج العام من أجله.
- حين تحتاج إلى الاستدلال على الوثيقة، لا الاستخراج منها. كالتلخيص، أو الإجابة عن أسئلة حول المحتوى، أو تفسير رسم بياني. فالمحلّل يعيد ما في الصفحة، ولا يخبرك بما تعنيه. وهذان منتجان مختلفان.
- العربية المطبوعة الحديثة بأحجام صغيرة، حيث لا يعوّض فارق نسبي قدره 3.85% في معدل الخطأ كلفة دورة شراء — ولا سيما إن كانت هناك علاقة قائمة مع Google Cloud.
- النمذجة الأولية السريعة، حيث تتفوق واجهة برمجية تملك بيانات الدخول إليها على واجهة يتعين عليك تقييمها.
- المحتوى متعدد اللغات بكميات كبيرة، حين تكون العربية عرضية لا محور الاهتمام.
تحذير واحد ينطبق على أي نموذج توليدي يُستخدم للتعرف الضوئي. نمط الإخفاق هو الهلوسة — نص سلس ومعقول لم يكن موجوداً في الصفحة قط — لا التشوّه الظاهر. وهو يفلت من المراجعة على نحو لا تفلت به كلمة أُسيئت قراءتها. وهذه خاصية في المعمارية، لا انتقاد موجَّه إلى Gemini تحديداً، وتكتسب أهميتها القصوى في المواد الأرشيفية التي لن يعيد أحد قراءة مصدرها.
متى يكون المحلّل الخيار الأفضل
- العربية المكتوبة بخط اليد أو التاريخية — بفارق 34.09%، ومع نمط يتّسع فيه الفارق كلما ازدادت المادة صعوبة.
- الوثائق التي تحمل فيها الجداول المعنى — كالسجلات المالية، والكتب الإحصائية السنوية، والسجلات الرسمية. ففارق قدره 44.23% في دقة الجداول هو الفرق بين جدول قابل للاستعلام وجدول يحتاج إلى إعادة إدخال يدوي.
- أنظمة الاسترجاع، حيث يحدد كشف بنية الصفحة ما إذا كان التقطيع متماسكاً دلالياً.
- متطلبات النشر داخل المقر — حيث لا يجوز أن تغادر المواد البنية التحتية للمؤسسة لأسباب قانونية أو تتعلق بالسيادة. فالواجهة البرمجية المستضافة ليست خياراً حينئذٍ أياً كانت دقتها.
ما لا تثبته هذه المقارنة
أجرت YaiGlobal هذا التقييم بنفسها. شغّلنا نظامنا وقارنّاه بأرقام Gemini المنشورة في ورقة KITAB-Bench. ولم نُعِد تشغيل Gemini، ما يعني أن الفروق في صياغة التعليمات أو المعالجة المسبقة أو إصدار النموذج متداخلة مع الفروق في القدرة. ولم تكرّر أي جهة مستقلة هذه المقارنة.
كما أنها تغطي أربعاً من مهام المعيار المرجعي التسع. فلم يُقيَّم تفسير الرسوم البيانية، ولا فهم المخططات، ولا الإجابة عن الأسئلة حول الوثائق — وهي مجالات يُتوقَّع أن يُحسن فيها النموذج العام وأن يُخفق فيها المحلّل، لأن المحلّل لا يحاولها أصلاً.
اختبر النظامين على وثائقك أنت
هذه هي المقارنة الوحيدة التي تحسم الأمر. أرسل إلينا عيّنة تمثيلية — ويُستحسن أن تتضمن أسوأ ما لديك من مواد — وسنعالجها ونريك المخرجات. ثم مرّر الصفحات نفسها عبر Gemini بنفسك وقارن مباشرة.
النطاق. تقييم أجرته YaiGlobal بنفسها على أربع من مهام KITAB-Bench التسع، و5,949 عيّنة. أرقام Gemini 2.0 Flash منقولة من ورقة المعيار المرجعي المنشورة (Heakl وزملاؤه، Findings of ACL 2025، arXiv:2502.14949)، ولم تُعِد YaiGlobal تشغيله. ومجاميع تحويل الصور إلى نص متوسطات كلّية غير مرجَّحة؛ ويبلغ معدل خطأ الحروف المرجَّح بعدد العيّنات لمحلّل YaiGlobal 14.08%. Gemini 2.0 Flash منتج من Google. المنهجية الكاملة وحدودها.