انتقل إلى المحتوى
جميع الرؤى

دليل6 دقائق للقراءةفريق أهلاً

الاسترجاع في المستندات العربية: كيف تجعل RAG يعمل على ملفات PDF الممسوحة ضوئياً

لا يكون مساعد المعرفة أفضل من النص الذي يستطيع العثور عليه. وفي الأرشيفات العربية المليئة بملفات PDF الممسوحة ضوئياً، يعني ذلك إتقان التعرّف الضوئي وتوحيد النص والتقطيع والبحث قبل أن يدخل أي نموذج في الصورة.

  • معالجة اللغة العربية
  • الاسترجاع
  • مساعدو المعرفة

التوليد المعزّز بالاسترجاع (RAG) هو الطريقة المعتادة لبناء مساعد يجيب من مستندات المنشأة نفسها. لا يحفظ النموذج المستندات، بل تعثر خطوة بحث على المقاطع ذات الصلة، ثم يجيب النموذج منها مع الإشارة إلى مصادرها. وحين يعمل ذلك جيداً، يحصل الموظف على إجابة مباشرة والمصدر على بُعد نقرة.

في كثير من المنشآت في المملكة، تكون أهم المستندات ملفات PDF ممسوحة ضوئياً: عقود موقّعة، وتعاميم، وسياسات قديمة، ومراسلات عليها أختام وملاحظات بخط اليد، وجداول أرقام. ونظام RAG المبني لنصوص إنجليزية رقمية نظيفة يؤدي أداءً ضعيفاً على هذه المواد، والإخفاق هنا صامت: لا يتعطّل المساعد، بل يعجز عن إيجاد المقطع الصحيح ويجيب من مقطع خاطئ. يعرض هذا الدليل ما نفعله في كل مرحلة لتجنّب ذلك.

التعرّف الضوئي على الحروف: حيث تبدأ أغلب المشكلات

إذا كان النص المستخرج من الصفحة خاطئاً، فلن تصلحه أي مرحلة لاحقة. اختر محرّك التعرّف الضوئي على الحروف (OCR) باختباره على مستنداتك أنت، لا على نتائج المقارنات المنشورة.

  • الصفحات المختلطة بالعربية والإنجليزية. تتنقّل العقود والمستندات التقنية بين اللغتين داخل السطر الواحد. تأكد من أن المحرّك يتعامل مع الخطّين في الصفحة نفسها، ويحافظ على الأرقام والتواريخ والرموز المرجعية سليمة، ولا يعكس اتجاه النص الإنجليزي المضمّن.
  • الجداول. تفقد جداول الرسوم والمواصفات والقوائم المالية معناها إذا تحوّلت صفوفها وأعمدتها إلى سلسلة واحدة من الكلمات. استخدم استخراجاً يراعي التخطيط ويحفظ بنية الجدول، واحفظ الجداول كجداول.
  • الأختام والتواقيع. تتداخل مع النص وتُحدث تشويشاً. اكتشفها كمناطق مستقلة، وسجّل وجودها («مختوم»، «موقّع»)، واستبعد بكسلاتها من استخراج النص.
  • خط اليد. تقرأ المحرّكات الحديثة العربية المطبوعة جيداً، أما العربية المكتوبة بخط اليد، خصوصاً في الهوامش والتعليقات، فأقل موثوقية بكثير. ميّز مناطق خط اليد، وافهرسها منفصلة بوزن أقل أو أحِلها للنسخ البشري، ولا تسمح للمساعد أبداً بعرضها على أنها مؤكدة.
  • فحوص الجودة. خذ عيّنة صفحات من كل مصدر ونوع مستند، وقارن النص المستخرج بالصفحة، وسجّل درجة ثقة لكل صفحة. والصفحات التي تقل عن الحدّ المقبول تذهب إلى قائمة مراجعة بدل الفهرس.

التخطيط وترتيب القراءة

تُكتب العربية من اليمين إلى اليسار، لكن الصفحة قد تحتوي أيضاً على كتل من اليسار إلى اليمين، وعمودين، وترويسات وتذييلات، وملاحظات جانبية. وكثيراً ما يخرج ناتج التعرّف الضوئي بهذه العناصر في ترتيب خاطئ، فتلتصق جملة بالتذييل أو بالعمود المقابل. اكتشف التخطيط أولاً — الأعمدة والعناوين والفقرات والجداول والترويسات والتذييلات — ثم أعد بناء ترتيب القراءة منه. واحذف الترويسات والتذييلات المتكررة من النص المفهرس، مع الاحتفاظ بأرقام الصفحات كبيانات وصفية.

توحيد النص العربي

في العربية تنوّع إملائي لا يضرّ القارئ لكنه يضرّ فهرس البحث. فقد تُكتب الكلمة نفسها بأشكال مختلفة من الألف، أو بتشكيل ودونه، أو ممدودة بالتطويل لأغراض التنسيق. لذلك نوحّد نسخة من النص لأغراض الفهرسة:

  • أشكال الألف: تُحوَّل (أ) و(إ) و(آ) جميعها إلى (ا)، فتتطابق «أحمد» و«احمد».
  • التاء المربوطة والهاء: تُوحَّد (ة) و(ه) في آخر الكلمة لأغراض المطابقة، فتُعامَل «مدرسة» و«مدرسه» على أنهما كلمة واحدة.
  • الألف المقصورة والياء: تُوحَّد (ى) و(ي)، فتتطابق «مستشفى» و«مستشفي».
  • التطويل: يُحذف حرف التطويل (ـ)، فتصبح «التـــقرير» «التقرير».
  • التشكيل: تُحذف علامات الحركات كالفتحة والضمة والكسرة والشدّة لأغراض الفهرسة، فتتطابق «مُعَلِّم» و«معلم».
  • الأرقام: تُفهرس الأرقام المشرقية والغربية (٠١٢ و 012) بصيغة واحدة، فيتطابق الرقم المرجعي أياً كانت طريقة كتابته.

التقطيع حسب البنية

تقسّم أنظمة RAG المستندات إلى مقاطع: صغيرة بما يكفي للبحث الدقيق، وكبيرة بما يكفي للإجابة منها. والتقسيم بعدد ثابت من الحروف بسيط، لكنه يعمل بشكل سيئ على المستندات العربية الرسمية، حيث تكون المادة الواحدة من اللائحة أو البند الواحد من العقد هي الوحدة الطبيعية للمعنى.

  • قسّم حسب العناوين والمواد والبنود والأقسام، مستعيناً بالتخطيط الذي اكتُشف في المرحلة السابقة.
  • أبقِ كل جدول كاملاً مع عنوانه وعناوين أعمدته، أو قسّمه حسب الصفوف مع تكرار العناوين.
  • أرفق السياق بكل مقطع: عنوان المستند، ومسار القسم (مثل: الفصل 3 › المادة 12)، والتاريخ، والإصدار، واللغة.
  • اترك تداخلاً صغيراً بين المقاطع المتجاورة، حتى لا تضيع جملة انقسمت عند الحدّ الفاصل.
  • احفظ رقم الصفحة وموضع كل مقطع عليها، لتُتتبّع كل إجابة إلى مكانها الدقيق في المستند.

البحث الهجين، وإعادة الترتيب، والإحالات، والصلاحيات

يعثر البحث الدلالي بالتضمينات (embeddings) على المقاطع التي تحمل المعنى نفسه بكلمات مختلفة، حتى بين العربية والإنجليزية. ويعثر البحث بالكلمات المفتاحية (BM25) على المصطلحات الدقيقة: الأرقام المرجعية، والأسماء، وأرقام المواد، ورموز المنتجات. والأرشيفات العربية تحتاج إلى الاثنين معاً. شغّلهما جنباً إلى جنب، وادمج النتائج، ومرّر أفضل المرشحين إلى نموذج إعادة ترتيب يقرأ السؤال وكل مقطع معاً ويرتّبها حسب الصلة. واختر نموذج تضمين ونموذج إعادة ترتيب قُيّما على العربية، ثم اختبرهما على أسئلتك أنت.

يجب أن تحيل كل إجابة إلى المستند والصفحة، وإلى الموضع في الصفحة حيث أمكن، ليفتح المستخدم الصورة الممسوحة والمقطع مظلَّل فيتحقق منه بنفسه. وإن لم تدعم المقاطع المسترجعة إجابةً ما، فعلى المساعد أن يقول ذلك بدل التخمين.

مكان الصلاحيات هو الاسترجاع، لا الإجابة. احفظ قواعد الوصول لكل مستند مصدر مع مقاطعه، وصفِّ نتائج البحث وفق صلاحيات المستخدم قبل أن يصل أي شيء إلى النموذج. فالنموذج لا يستطيع تسريب مقطع لم يستلمه أصلاً.

التقييم بأسئلة حقيقية

اجمع أسئلة حقيقية من الأشخاص الذين سيستخدمون المساعد — بالعربية والإنجليزية كما يكتبونها فعلاً، بما في ذلك اللهجة والأخطاء الإملائية والاختصارات — وسجّل المستند والصفحة اللذين يجيبان عن كل سؤال. وقِس الاسترجاع منفصلاً عن الإجابة: هل ظهر المقطع الصحيح في أعلى النتائج، وهل استخدمته الإجابة بشكل صحيح؟ وحين تنخفض الجودة، يخبرك ذلك بموضع الإصلاح: التعرّف الضوئي، أم التقطيع، أم البحث، أم التعليمات.

يلخّص الجدول التالي المشكلات الأكثر شيوعاً في الأرشيفات العربية الممسوحة ضوئياً، وكيف تظهر، وأين يكمن حلها.

المشكلةالعَرَضالحل
تعرّف ضوئي ضعيف على الصور الممسوحةالمستند الصحيح موجود لكنه لا يظهر أبداً، والاقتباسات تعود مشوّهةاختبار المحرّكات على صفحاتك، ودرجة ثقة لكل صفحة، وإحالة الصفحات الضعيفة إلى قائمة مراجعة
ترتيب قراءة خاطئإجابات تدمج نصاً من أعمدة مختلفة أو من التذييلاتاكتشاف التخطيط قبل تجميع النص، وحذف الترويسات والتذييلات المتكررة
جداول مسطّحةأرقام خاطئة، أو قيم منسوبة إلى الصف الخطأاستخراج يراعي بنية الجداول، وإبقاء الجداول كاملة بعناوينها
التنوّع الإملائيالبحث بإحدى صيغ الكلمة لا يجد الأخرى (مثل «أحمد» و«احمد»)توحيد الفهرس والسؤال بالطريقة نفسها، مع حفظ النص الأصلي للعرض
مقاطع ثابتة الحجمإجابات تستشهد بنصف بند، أو تُغفل الشرط الذي يليهالتقطيع حسب المواد والبنود والأقسام مع إرفاق السياق
الاعتماد على التضمينات وحدهالا تتطابق الأرقام المرجعية والأسماءبحث هجين بالكلمات المفتاحية والدلالة، تليه إعادة الترتيب
غياب تصفية الصلاحياتيرى المستخدمون مقاطع من مستندات لا يحقّ لهم فتحهاالتصفية وفق صلاحيات المصدر عند الاسترجاع، قبل النموذج

لا يظهر شيء من هذا في عرض توضيحي على عشرة ملفات PDF نظيفة، بل يظهر مع أول أرشيف حقيقي. وحين نبني في أهلاً مساعدي معرفة للمحتوى العربي، نبدأ بعيّنة من أصعب مستندات العميل، لا أسهلها.

تودّ مناقشة ذلك معنا؟

يسعدنا أن نناقش كيف ينطبق هذا على منشأتك — دون عروض بيع جاهزة.

النشرة البريدية

ذكاء اصطناعي عملي في بريدك.

حالات استخدام حقيقية، والأنظمة في المملكة، وما ينجح باللغة العربية — مرة أو مرتين شهرياً. بلا رسائل مزعجة، ويمكنك إلغاء الاشتراك في أي وقت.

سنراسلك لتأكيد الاشتراك، ويمكنك إلغاؤه في أي وقت — راجع سياسة الخصوصية.