تكنولوجيا

مخاطر أمنية جديدة تفرضها وكلاء الذكاء الاصطناعي على الشركات.. كيف يمكن الحد منها؟

🔊استمع إلى المقالجاهز
0%
اضغط تشغيل لبدء قراءة المقال
استمع إلى المقال

تتجه الشركات بشكل متزايد إلى استخدام وكلاء الذكاء الاصطناعي لأتمتة المهام اليومية وتسريع إنجاز الأعمال، مستفيدة من قدرتهم على التعامل مع البريد الإلكتروني والمستندات وقواعد البيانات والتطبيقات الداخلية. لكن انتقال هذه الأنظمة من مجرد تقديم الإجابات إلى تنفيذ الإجراءات الفعلية يطرح تحديات أمنية جديدة، لا سيما عندما تُمنح صلاحيات واسعة أو يُسمح لها بالعمل دون رقابة بشرية كافية.

ولا ترتبط المخاطر بالضرورة بوجود ثغرات في نماذج الذكاء الاصطناعي نفسها، بل قد تنشأ من طريقة دمجها في بيئة العمل، والأدوات المتاحة أمامها، ونوعية البيانات التي يمكنها الوصول إليها، فضلا عن مستوى استقلاليتها في اتخاذ القرارات وتنفيذ الإجراءات.

كيف تعمل وكلاء الذكاء الاصطناعي داخل الشركات؟

تعتمد وكلاء الذكاء الاصطناعي على نماذج قادرة على فهم الأهداف التي يحددها المستخدم، وتقسيمها إلى مجموعة من الخطوات، واختيار الأدوات المناسبة لتنفيذها، ثم مراجعة النتائج ومواصلة العمل حتى تحقيق المطلوب.

وتتيح واجهات برمجة التطبيقات (APIs) والموصلات البرمجية ربط هذه الوكلاء بأنظمة الشركة المختلفة، بما يشمل البريد الإلكتروني وخدمات التخزين السحابي وبرامج إدارة علاقات العملاء وقواعد البيانات.

فعلى سبيل المثال، عندما يُطلب من أحد الوكلاء إعداد تقرير عن المبيعات، يمكنه استخراج البيانات من قواعد المعلومات، ومقارنتها بالفترات السابقة، وترتيب النتائج داخل مستند، ثم إرسال التقرير إلى فريق العمل إذا كانت الصلاحيات الممنوحة له تسمح بذلك. وتساعد هذه الآلية على تقليل الوقت اللازم لإنجاز المهام التي تتطلب استخدام تطبيقات متعددة.

ويكمن الاختلاف الأساسي بين الوكيل والمساعد التقليدي في طبيعة الإجراءات التي يستطيع كل منهما تنفيذها. فالمساعد الذي يجيب عن سؤال أو يقترح صياغة رسالة يترك للموظف مهمة مراجعتها وإرسالها، بينما يستطيع الوكيل المتصل بالأدوات المناسبة تنفيذ هذه الخطوات بصورة مستقلة.

ورغم أن هذه الإمكانات ترفع الإنتاجية وتسرّع إنجاز الأعمال، فإنها تجعل أخطاء النظام أو إساءة استخدام صلاحياته قادرة على التأثير مباشرة في بيانات الشركة وعملياتها.

عندما تتحول الصلاحيات الواسعة إلى نقطة ضعف

تبدأ المخاطر عندما يحصل الوكيل على صلاحيات تفوق احتياجات المهمة المكلف بها. فقد يُمنح، على سبيل المثال، إمكانية الوصول إلى صندوق بريد كامل رغم أن دوره يقتصر على تلخيص رسائل محددة، أو يحصل على صلاحية تعديل الملفات وحذفها بينما لا تتطلب مهمته سوى الاطلاع عليها.

وفي حال وقوع خطأ أو استغلال أمني، يمكن أن يؤدي هذا التوسع في الصلاحيات إلى كشف معلومات سرية، أو تغيير سجلات مهمة، أو تنفيذ إجراءات لم تحصل على تفويض مسبق.

وتدرج منظمة «أواسب» (OWASP)، المتخصصة في أمن تطبيقات الويب، مشكلة الوكالة المفرطة ضمن المخاطر المرتبطة بتطبيقات النماذج اللغوية الكبيرة. ويشير هذا الخطر إلى منح أنظمة الذكاء الاصطناعي وظائف أو صلاحيات واسعة، أو السماح لها بتنفيذ إجراءات مؤثرة دون توفير آليات مناسبة للتحقق والموافقة.

وتزداد خطورة المشكلة عندما يرتبط الوكيل بعدة أنظمة في الوقت نفسه، إذ قد يمتد تأثير أي خلل من البريد الإلكتروني إلى خدمات التخزين وقواعد بيانات العملاء. كما أن الاعتماد على حسابات مشتركة أو منح صلاحيات إدارية واسعة قد يجعل تحديد المسؤول عن الإجراءات أكثر صعوبة، ويوسع نطاق الأضرار المحتملة.

التعليمات الخبيثة وسبل تسريب البيانات

يُعد حقن التعليمات (Prompt Injection) من أبرز التهديدات التي تواجه وكلاء الذكاء الاصطناعي، إذ يحاول المهاجم من خلاله التأثير في سلوك النموذج عبر إدراج تعليمات ضارة داخل المحتوى الذي يعالجه النظام.

وقد تصل هذه التعليمات إلى الوكيل من خلال رسالة بريد إلكتروني أو مستند أو صفحة ويب، حتى من دون أن يطلب الموظف منه تنفيذها بشكل مباشر.

ولتوضيح ذلك، يمكن أن يتلقى وكيل مخصص لتلخيص رسائل البريد الإلكتروني رسالة تتضمن تعليمات تطلب منه تجاهل مهمته الأصلية، والبحث عن ملفات سرية ثم إرسالها إلى عنوان خارجي. وإذا استجاب الوكيل لهذه التعليمات، وكانت الصلاحيات الممنوحة له تتيح الوصول إلى الملفات وإرسال الرسائل، فقد تتحول محاولة التلاعب إلى عملية فعلية لتسريب البيانات.

ولا يعني هذا السيناريو أن جميع التعليمات الخبيثة ستنجح، إذ تعتمد النتيجة على تصميم الوكيل، ونطاق صلاحياته، وآليات التحقق من الإجراءات التي ينفذها. لكنه يوضح أهمية عدم التعامل مع النصوص التي يقرأها الوكيل باعتبارها معلومات موثوقة، وضرورة اعتبار المحتوى الخارجي غير موثوق، ومنع التعليمات المضمنة فيه من تجاوز ضوابط النظام.

وقد تظهر المخاطر أيضا عندما ينفذ الوكيل سلسلة طويلة من الإجراءات دون مراجعة بشرية، أو عندما تُنقل مخرجاته إلى وكيل آخر يعتمد عليها في اتخاذ قرارات لاحقة. ففي هذه الحالات، يمكن أن ينتقل الخطأ الناتج عن سوء فهم طلب أو التعامل مع بيانات مضللة إلى مراحل أخرى، ما قد يؤدي إلى تعديل سجلات أو مشاركة معلومات مع جهات غير مقصودة.

كيف يمكن للشركات الحد من المخاطر الأمنية؟

تبدأ إجراءات الحماية بتطبيق مبدأ الحد الأدنى من الصلاحيات، بحيث يحصل كل وكيل على القدر الضروري فقط من الوصول لإنجاز المهمة المحددة له. وينبغي الفصل بين صلاحيات القراءة والتعديل والحذف والإرسال، مع تخصيص هويات رقمية مستقلة للوكلاء وتحديد الأنظمة والبيانات التي يُسمح لكل منهم بالتعامل معها.

ومن الضروري أيضا اشتراط موافقة بشرية مسبقة على العمليات الحساسة، خصوصا عند إرسال معلومات سرية إلى جهات خارجية، أو حذف السجلات، أو تغيير صلاحيات الوصول. ويمكن للمؤسسات تعزيز الحماية من خلال تقييد الأدوات المتاحة للوكلاء، وحظر الاتصالات الخارجية غير المعتمدة، وعزل البيئات التي تتعامل مع المحتوى غير الموثوق عن الأنظمة الحيوية.

وتحتاج الشركات كذلك إلى تسجيل أنشطة الوكلاء ومراقبتها بصورة مستمرة، بما يشمل الأدوات التي يستخدمونها، والبيانات التي يصلون إليها، والإجراءات التي ينفذونها. وتساعد مراجعة هذه السجلات على رصد الأنشطة غير المعتادة والتحقيق في الحوادث الأمنية عند وقوعها.

كما ينبغي إجراء اختبارات أمنية دورية تحاكي محاولات حقن التعليمات، وفحص الموصلات والتطبيقات الخارجية المرتبطة بالوكلاء، إلى جانب توفير آلية سريعة لتعطيل أي وكيل وإلغاء صلاحياته عند الاشتباه في إساءة استخدامه.

المسؤولية لا تقتصر على الجانب التقني

لا تتوقف حماية وكلاء الذكاء الاصطناعي عند الإجراءات التقنية، بل تتطلب أيضا وضع سياسات مؤسسية واضحة تحدد أنواع البيانات المسموح بمعالجتها، والمهام التي يمكن أتمتتها، والجهة المسؤولة عن مراقبة كل وكيل والتعامل مع الحوادث المرتبطة به.

ويتعين كذلك تدريب الموظفين على مخاطر مشاركة المعلومات الحساسة، وتوعيتهم بأن الإجراءات التي ينفذها الوكيل لا تصبح آمنة تلقائيا لمجرد أنها تبدو متوافقة مع الطلب الأصلي.

وبالتالي، لا يتطلب تأمين وكلاء الذكاء الاصطناعي التخلي عن المزايا التي توفرها هذه التقنيات، بل يستلزم بناء منظومة من الضوابط تتناسب مع قدراتها على الوصول إلى البيانات وتنفيذ الإجراءات.

فنجاح الأتمتة لا يُقاس بسرعة إنجاز المهام وحدها، وإنما بقدرة الشركات على الاستفادة من هذه الإمكانات مع ضمان سرية المعلومات وسلامة الأنظمة، وإمكانية مراجعة القرارات والإجراءات التي تنفذها الوكلاء.

chinguitel
زر الذهاب إلى الأعلى