يبدأ اختيار نموذج للعمل بالعربية عادةً من لوحة صدارة. وهذا معقول، فهي تختصر قائمة طويلة بسرعة. لكن النموذج الأعلى ترتيباً في مقياس عام ليس في الغالب الأفضل في التعامل مع رسائل عملائك على WhatsApp، أو عقودك الممسوحة ضوئياً، أو رسائل موظفيك التي تمزج العربية بالإنجليزية. والطريقة الوحيدة الموثوقة لتعرف هي أن تختبر النماذج المرشّحة على عملك أنت. يعرض هذا الدليل كيف نبني هذا النوع من التقييم ونشغّله.
لماذا لا تكفي لوحات الصدارة العامة
- تختبر في الغالب العربية الفصحى، وكثيراً بأسئلة اختيار من متعدد أو إجابات قصيرة لا تشبه الطلبات الحقيقية.
- كثير من عناصر المقاييس العربية مترجم عن الإنجليزية، فيحمل معه افتراضاتها وصياغتها.
- تتسرّب مجموعات الاختبار الشائعة إلى بيانات التدريب مع الوقت، فقد تعكس النتائج ما حفظه النموذج لا ما يقدر عليه.
- لا تقول شيئاً عن مصطلحات مجالك، ولا صيغ مستنداتك، ولا نبرة خطابك، ولا تكلفة المهمة الواحدة.
استخدمها لاختيار قائمة قصيرة من نموذجين إلى أربعة، ثم انتقل إلى أدلتك أنت.
ابنِ مجموعة التقييم من مهام حقيقية
ابدأ من العمل الذي سيؤديه النظام فعلاً. اجمع أمثلة حقيقية من كل حالة استخدام — رسائل العملاء، والطلبات الداخلية، والمستندات، والأسئلة التي يطرحها الموظفون — بعد حذف البيانات الشخصية أو إخفائها. وسجّل لكل مثال المدخلات، وشكل الإجابة الجيدة، ومن قرّر ذلك. واهتم بالتغطية لا بالحجم: كل نوع من المهام، وكل قناة، والحالات السهلة، والحالات المربكة التي تذهب اليوم إلى أكثر موظفيك خبرة.
اكتب الإجابات المرجعية مع من يؤدّون العمل اليوم، لا مع الفريق التقني وحده. فهم يعرفون الإجابة الصحيحة تقنياً التي ستزعج العميل مع ذلك، والاختصار المقبول تماماً.
اختبر العربية التي يكتبها الناس فعلاً
العربية في المنشأة السعودية ليست مستوى واحداً. والمجموعة المفيدة تغطي على الأقل الفئات التالية، ويعرض الجدول مثالاً لكل منها وما تفعله الإجابة الجيدة به.
| فئة الاختبار | مثال على المدخلات | شكل الإجابة الجيدة |
|---|---|---|
| العربية الفصحى | سؤال رسمي عن سياسة: «ما المدة المسموح بها لتقديم الاعتراض؟» | إجابة دقيقة بلغة رسمية، مع الإحالة إلى البند الصحيح |
| اللهجة النجدية | «وش صار على طلبي؟» | يفهم السؤال ويردّ بعربية واضحة ومهذبة، دون تقليد ركيك للهجة |
| اللهجة الحجازية | «أبغى أغيّر موعدي لبكرة» | يتعرّف على طلب نقل الموعد إلى الغد |
| اللهجة الخليجية | «شلون أطلّع شهادة راتب؟» | يشرح طريقة الحصول على شهادة الراتب، لا المعنى الحرفي للكلمات |
| المزج بين العربية والإنجليزية | «ابي اسوي cancel للـbooking حقي» | يعامل الكلمات الإنجليزية جزءاً من الطلب، ويردّ بلغة المستخدم الأساسية |
| العربيزي | «abi a3rf wsh sar 3la talabi» | يقرأ العربية المكتوبة بحروف لاتينية وأرقام، ويردّ بالحروف العربية ما لم يُطلب غير ذلك |
| الأرقام والتواريخ | «الفاتورة ٤٥٠٠ ريال، تاريخها ١٥ رمضان ١٤٤٧» | يتعامل مع الأرقام المشرقية والتاريخ الهجري، ويحوّلها أو يبقيها كما تقتضي سياستك تماماً |
| الأسماء والنقل الحرفي | محمد، Mohammed، Muhammad؛ القحطاني، Al-Qahtani، Alqahtani | يطابق الصيغ المختلفة مع الشخص نفسه، ويحافظ على تهجئة ثابتة في المخرجات |
| التنسيق من اليمين إلى اليسار | ردّ يتضمن رقم فاتورة ومبلغاً واسم منتج بالإنجليزية | تظهر الأرقام والنصوص اللاتينية بالترتيب الصحيح، وتُعرض القوائم والجداول سليمة |
وأدرج كذلك التفاصيل الصغيرة التي تُفسد البحث والاستخراج: التشكيل الاختياري، وصور الحروف المختلفة مثل أ وا وإ أو ى وي، والتاء المربوطة حين تُكتب هاءً. فالنموذج الذي يتعثّر فيها سيخفق بصمت في بيئة الإنتاج.
قِس تكلفة الترميز لا السعر وحده
تُسعَّر النماذج بالرمز، لكن المُرمِّزات تختلف. فكثير منها بُني أساساً للإنجليزية ويقسّم الكلمات العربية إلى أجزاء أكثر، بينما تملك النماذج العربية أولاً عادةً مفردات عربية أوسع. لذلك قد تكلّف الجملة نفسها أكثر بوضوح على نموذج دون آخر، وتستهلك مساحة أكبر من نافذة السياق. مرّر مجموعة التقييم عبر مُرمِّز كل نموذج مرشّح، وسجّل عدد الرموز لكل مهمة في كل لغة. فهذا يغيّر مقارنات التكلفة أكثر مما يُتوقّع. ويهمّ الأمر النماذج المستضافة ذاتياً أيضاً، لأن التسلسلات الأطول تعني استجابة أبطأ وإنتاجية أقل من الأجهزة نفسها.
قيّم بثلاث طرق
لا تكفي طريقة واحدة، ولذلك نجمع بين ثلاث:
- معايير تقييم مكتوبة. حدّد من ثلاثة إلى خمسة معايير لكل مهمة — الصحة، والاكتمال، والالتزام بالمصادر، وجودة اللغة، والنبرة — لكل منها مقياس قصير وأمثلة مكتوبة لكل درجة. فالمعايير تجعل المراجعين متّسقين والنتائج قابلة للمقارنة بين الجولات.
- المراجعة البشرية بالمقارنة الثنائية. اعرض على المراجعين إجابتين مجهولتي المصدر عن المدخل نفسه، واسألهم أيهما أفضل ولماذا. فالناس يحكمون على المقارنات بدقة أكبر من الدرجات المطلقة، وتكشف المقارنة فروقاً قد تفوت المعايير. استعن بناطقين أصليين من الإدارات المعنية، واجعل بعض العناصر تُراجَع مرتين للتحقق من اتفاق المراجعين.
- الفحوص الآلية. مطابقة تامة وفحص على مستوى الحقول لمهام الاستخراج، والتحقق من صيغ JSON والتواريخ، وفحص الإحالات في إجابات الاسترجاع، وكشف اللغة لرصد الردود بلغة خاطئة. ويمكن لنموذج أن يقيّم نماذج أخرى وفق المعايير، لكن اضبطه أولاً مقابل تقييمات بشرية وواصل التحقق منه، فللمقيّمين الآليين تحيّزاتهم، وفي العربية كما في غيرها.
واصل الاختبار حين تتغيّر النماذج
تبلغ مجموعة التقييم أعلى قيمتها بعد الإطلاق. فالنماذج تُحدَّث، والمزوّدون يوقفون إصدارات، والأوامر تُعدَّل، وفهارس الاسترجاع تكبر. وأيٌّ من ذلك قد يحسّن مهمة ويُفسد أخرى بصمت.
- 1جمّد نسخة مرقّمة من المجموعة، واجعل نتائج النموذج العامل حالياً في بيئة الإنتاج خط الأساس.
- 2أعد تشغيلها آلياً مع كل تغيير في النموذج أو الأوامر أو المُرمِّز أو إعدادات الاسترجاع.
- 3ضع حدوداً دنيا لكل فئة، حتى لا يُخفي تحسّنٌ في الفصحى تراجعاً في فهم اللهجات.
- 4أضف إلى المجموعة كل إخفاق يبلّغ عنه المستخدمون في بيئة الإنتاج، بعد مراجعته وإخفاء بياناته.
- 5راجع المجموعة نفسها كل ربع سنة، فاحذف العناصر التي تقادمت وأضف أنواع المهام الجديدة.
بهذه الطريقة يتحوّل اختيار النموذج من رهان لمرة واحدة إلى قرار روتيني تكرّره كلما ظهر خيار أفضل أو أقل تكلفة. وبناء مجموعات التقييم العربية وصيانتها جزء من طريقة تشغيلنا للنماذج التي ننشرها، ويمكننا مساعدة فريقك على إعداد مجموعته الخاصة.