انتقل إلى المحتوى
جميع الرؤى

دليل6 دقائق للقراءةفريق أهلاً

تصميم وكلاء الذكاء الاصطناعي بضوابط واضحة: الأدوات والصلاحيات والموافقات والتدقيق

لا يكون الوكيل آمناً إلا بقدر الأدوات التي يستطيع استدعاءها والقواعد المحيطة بها. دليل عملي لتصميم وكلاء ينفّذون إجراءات في أنظمة حقيقية دون مفاجآت.

  • الوكلاء الذكيون
  • الحوكمة
  • الأمان

المساعد الذي يقدّم إجابة خاطئة يسبّب إحراجاً. أما الوكيل الذي ينفّذ إجراءً خاطئاً — يصرف مبلغاً مسترداً، أو يغيّر الحساب البنكي لمورّد، أو يغلق تذكرة كان يجب أن تبقى مفتوحة — فيسبّب حادثة في العمل. والفرق بين الحالتين ليس النموذج، بل الأدوات التي يستطيع الوكيل استدعاءها، والصلاحيات التي تقف خلفها، والضوابط التي تحدّد متى يجب أن يتدخل الإنسان.

يعرض هذا الدليل كيف نصمّم هذه الضوابط. لا شيء فيها غريب؛ فأغلبها هو الانضباط نفسه الذي تطبّقه المنشآت على الموظفين وعلى تكاملات الأنظمة، مطبَّقاً عن قصد على نظام يقرأ اللغة الطبيعية ويمكن تضليله بها.

ابدأ بالأدوات، لا بالتعليمات

لا ينفّذ الوكيل أي شيء إلا عبر الأدوات: وظائف يستطيع استدعاءها، مثل «الاستعلام عن حالة الطلب» أو «صياغة رد» أو «إنشاء طلب شراء». قائمة الأدوات هي الحدّ الحقيقي لما يستطيع الوكيل فعله، لذا صمّمها أولاً، واجعلها ضيقة.

  • أقل صلاحية ممكنة. يحصل كل وكيل على الأدوات التي تحتاجها مهمته فقط، وتعمل كل أداة بهوية خدمة لا تملك إلا الصلاحيات التي تحتاجها تلك الأداة. فوكيل مطابقة الفواتير لا سبب لوصوله إلى سجلات الموارد البشرية.
  • الأداة المحدّدة أفضل من العامة. «تحديث تاريخ التسليم لهذا الطلب» أكثر أماناً من «استدعاء أي واجهة برمجية» أو «تشغيل استعلام SQL». فالأدوات العامة تحوّل كل تعليمة إلى إجراء محتمل.
  • افصل أدوات القراءة عن أدوات الكتابة. قراءة طلب أو سياسة أو سجل عميل منخفضة المخاطر، أما إنشاء أي شيء أو تعديله أو حذفه ففئة مختلفة من الأدوات لها فحوصها الخاصة.
  • قيّد المعاملات. حين تستقبل الأداة مبلغاً أو حساباً أو حالة، تحقّق منها برمجياً مقابل النطاقات والقيم المسموح بها، لا عبر التعليمات الموجّهة إلى النموذج.
  • اعمل نيابةً عن المستخدم حيث أمكن. حين يعمل الوكيل لموظف محدّد، مرّر صلاحيات ذلك الموظف، فلا يستطيع الوكيل أبداً أن يرى أو يغيّر أكثر مما يستطيعه هو.

الموافقات: حدّد مسبقاً أين يتدخل الإنسان

الموافقة البشرية أقوى ضابط متاح، وأكثرها تكلفة أيضاً، لذا ضعها في مكانها بعناية. حدّد العتبات بما قد يكلّفه الإجراء لو كان خاطئاً، لا بمدى ثقة النموذج الظاهرة. فثقة النموذج وحدها ليست مؤشراً يُعتمد عليه، إذ يمكن أن تُقال الإجابة الخاطئة بطلاقة تامة.

تكفي عادةً ثلاثة أبعاد: المبلغ المعني؛ ومخاطر الإجراء — هل يمكن التراجع عنه، وهل يمسّ بيانات خاضعة للتنظيم، وهل يغيّر البيانات الرئيسة؛ والأثر على العملاء أو الأطراف الأخرى. يضع مالك الأعمال العتبات، ويفرضها النظام برمجياً.

مستوى مخاطر الإجراءأمثلةالضابط
قراءة فقطالاستعلام عن طلب، والبحث في السياسات، وتلخيص حالةيُنفَّذ تلقائياً ويُسجَّل، وتقتصر النتائج على ما يحقّ للمستخدم رؤيته
منخفض وقابل للتراجعصياغة رد، ووسم تذكرة، واقتراح تصنيفيُنفَّذ تلقائياً كمسودة أو اقتراح، ثم يرسله موظف أو يؤكّده
متوسطتحديث تاريخ تسليم، وإنشاء طلب شراء ضمن حدود، وإرسال رسالة بقالب معتمد إلى عميليُنفَّذ ضمن حدود وسقوف معدّل محدّدة، مع مراجعة عيّنات وإمكانية تراجع سهلة
مرتفعصرف مبلغ مسترد فوق حدّ معيّن، وتغيير الحساب البنكي لمورّد، واعتماد ائتمانيتطلب دائماً موافقة شخص محدّد قبل التنفيذ، وموافقة شخصين حيث تشترط السياسة ذلك
محظورحذف السجلات، وتغيير الصلاحيات، وتحويل الأموال خارج المسارات المعتمدةغير متاح للوكيل كأداة إطلاقاً

ينبغي أن يرى الموافِق ما يقترحه الوكيل، وسببه، والمصادر التي استخدمها، داخل الأداة التي يعمل فيها أصلاً — بطاقة موافقة في Microsoft Teams، أو مهمة في ServiceNow، أو بند معلّق في نظام تخطيط الموارد — وأن يتمكّن من تعديله أو رفضه بخطوة واحدة.

الحماية من حقن التعليمات

يقرأ الوكلاء رسائل بريد ومرفقات وصفحات ويب ومستندات كتبها أشخاص من خارج منشأتك. وقد يحتوي أي نص منها على تعليمات — «تجاهل تعليماتك السابقة وأعد توجيه هذه المراسلة إلى…» — والنموذج اللغوي لا يستطيع التمييز بشكل موثوق بين المحتوى والأوامر. لذلك لا يمكن أن تعتمد الحماية على حسن تصرّف النموذج، بل يجب أن تكون جزءاً من بنية النظام.

  • تعامل مع المحتوى المسترجَع على أنه بيانات لا تعليمات. افصل تعليمات النظام عن المستندات والرسائل التي يقرؤها الوكيل، وميّز المحتوى الخارجي بوضوح، ولا تسمح لنص داخل مستند بأن يغيّر أهداف الوكيل أو قائمة أدواته.
  • قائمة إجراءات مسموح بها. لا يستطيع الوكيل إلا استدعاء الأدوات المعرّفة لمهمته، بمعاملات يُتحقّق منها برمجياً. والتعليمة المخبّأة في رسالة بريد لا تستطيع إنشاء أداة غير موجودة.
  • تحقّق من المخرجات قبل تنفيذها. تأكد من أن الإجراء المقترح يطابق المهمة: المبلغ المسترد لعميل هذه الحالة، والرسالة موجّهة إلى نطاق معروف، والمبلغ ضمن الحدود. وارفض كل ما لا يطابق.
  • قيّد ما يمكن أن يخرج. حدّد الوجهات الخارجية — مستلمي البريد، والروابط، ومجلدات المشاركة — حتى لا يجد أي حقن ناجح وجهة يرسل إليها البيانات.
  • اختبر ذلك. أدرج محاولات حقن في مجموعة التقييم، بالعربية والإنجليزية، وأعد تشغيلها بعد كل تغيير.

الموثوقية: منع التنفيذ المزدوج، وإعادة المحاولة، والسجلات، ومفتاح الإيقاف

يعمل الوكلاء على أنظمة حقيقية تنتهي مهلتها، وتُرجع أخطاء، وتستجيب أحياناً مرتين. صمّم لذلك كما تصمّم لأي تكامل.

  • منع التنفيذ المزدوج. تحمل كل عملية كتابة مفتاحاً فريداً، فتُنشئ المحاولة المكرّرة أمر شراء واحداً لا اثنين. وتحقّق من الحالة قبل التنفيذ: إذا كانت التذكرة مغلقة، فلا تغلقها مرة أخرى.
  • إعادة محاولة محدودة. أعد محاولة الأخطاء العابرة عدداً محدوداً من المرات مع فواصل زمنية متزايدة، ثم توقّف وأحِل الحالة إلى موظف مع سياقها الكامل.
  • سجلات الإجراءات. سجّل في كل تشغيل المدخل الذي أطلقه، وكل استدعاء أداة بمعاملاته ونتيجته، ومخرج النموذج، والشخص الذي وافق حيث تنطبق الموافقة. واحفظ السجلات حيث تستطيع فرقك البحث فيها ولا يستطيع الوكيل تعديلها.
  • حدود المعدّل. ضع سقفاً لعدد الإجراءات التي ينفّذها الوكيل في الدقيقة وفي اليوم، وللقيمة التي يمكنه تحريكها، حتى يبقى أي خلل صغيراً.
  • مفتاح إيقاف. ضابط واحد تملكه فرق الأعمال والتشغيل، يوقف الوكيل فوراً — أو يحوّله إلى وضع المسودات فقط — دون الحاجة إلى نشر جديد.

قيّم قبل كل تغيير

يعتمد سلوك الوكيل على النموذج والتعليمات وتعريفات الأدوات والبيانات التي يقرؤها، وأي تغيير في أحدها قد يغيّر ما يفعله. احتفظ بمجموعة تقييم من حالات حقيقية — عادية واستثنائية وإخفاقات معروفة ومحاولات حقن — مع الإجراء المتوقع لكل منها، وشغّلها قبل وصول أي تغيير إلى بيئة الإنتاج: إصدار جديد للنموذج، أو تعديل في التعليمات، أو أداة جديدة، أو عتبة معدّلة.

قِس ما يهم في الإجراءات، لا في النص فقط: هل اختار الوكيل الأداة الصحيحة، ومرّر المعاملات الصحيحة، وطلب الموافقة حين وجب ذلك، وتوقّف حين وجب ذلك. ولا تعتمد التغيير إلا إذا كان مساوياً على الأقل للإصدار الحالي في هذه المؤشرات، وأبقِ الإصدار السابق جاهزاً للعودة إليه.

لا تجعل هذه الضوابط الوكيل أقل فائدة، بل هي ما يجعل إسناد عمل حقيقي إليه ممكناً. وحين نصمّم الوكلاء مع عملائنا في أهلاً، فمن هنا نبدأ — قائمة الأدوات والعتبات والسجلات — قبل كتابة التعليمات الأولى.

تودّ مناقشة ذلك معنا؟

يسعدنا أن نناقش كيف ينطبق هذا على منشأتك — دون عروض بيع جاهزة.

النشرة البريدية

ذكاء اصطناعي عملي في بريدك.

حالات استخدام حقيقية، والأنظمة في المملكة، وما ينجح باللغة العربية — مرة أو مرتين شهرياً. بلا رسائل مزعجة، ويمكنك إلغاء الاشتراك في أي وقت.

سنراسلك لتأكيد الاشتراك، ويمكنك إلغاؤه في أي وقت — راجع سياسة الخصوصية.