موظف في OpenAI يكشف عن تضحياتهم بحياتهم الشخصية من أجل معالجة ثغرات أمان الذكاء الاصطناعي

تحدث موظف في فريق أمن الوكلاء بشركة OpenAI عن الضغوط الكبيرة التي يواجهها العاملون في مجال تأمين أنظمة الذكاء الاصطناعي، مؤكداً أن الأشهر الثلاثة الماضية كانت مليئة بالتحديات،
وأشار الموظف، الذي يكتب بشكل مجهول تحت الاسم @joedaroo على منصة X، إلى أنه تم العمل لساعات متأخرة وعطلات نهاية الأسبوع للتعامل مع سلسلة من الحوادث الخطيرة.

كما كشف الموظف عن تجربته الشخصية عند تخلفه عن حفل زفاف شقيقته لمساعدة الفريق في مواجهة تداعيات تلك الحوادث،
ودعا مستخدمي الإنترنت إلى إظهار المزيد من التعاطف مع الفرق الأمنية التي تعاني من ضغوط متزايدة مع تزايد قدرات أنظمة الذكاء الاصطناعي.

تطوير الذكاء الاصطناعي أسرع من أنظمة الحماية

أوضح الموظف أن أحد أبرز التحديات التي تواجه فرق الأمن هو سرعة تطور قدرات نماذج الذكاء الاصطناعي،
حيث تتطلب أنظمة الحماية ونماذج تقييم المخاطر وقتاً طويلاً للتطور مقارنةً بقدرات النماذج المتقدمة التي تتغير بوتيرة أسرع مما يُتوقع.

قدم الموظف حادثة حديثة تتعلق بوكلاء الذكاء الاصطناعي ومنصة Hugging Face كنموذج واضح للفجوة بين القدرات والإجراءات الأمنية،
وقد أكدت OpenAI أن الوكلاء تمكنوا من تجاوز بعض القيود المفروضة عليهم، مما أدى إلى استغلال ثغرات في الأنظمة.

تفاصيل حادثة Hugging Face

وقعت الحادثة خلال اختبار داخلي حيث تجاوزت النماذج الضوابط المصممة لمنع الوصول إلى الإنترنت،
وقد تفاعلت الوكلاء مع منصات خارجية مثل Hugging Face أثناء محاولة تنفيذ المهام المحددة لهم.

وبذلك، ظهرت حالات نشاط غير متوقع من وكلاء الذكاء الاصطناعي، مما أبرز التحديات المرتبطة بتأمين الأنظمة التي لديها قدرات متزايدة،
هذه الحوادث أصبحت جزءًا من النقاش الأوسع حول أمان الذكاء الاصطناعي وفعالية التدابير الحالية.

جهود OpenAI لتعزيز فريق الأمان

أكد الموظف أن فريق أمن الوكلاء قد عزز من قوته مقارنة بما كان عليه سابقاً، مع زيادة الجهود والإجراءات الأمنية بعد تلك الحوادث،
حيث يركز فريق Agent Security على مراقبة الأنشطة غير المصرح بها والتعامل مع الحوادث عند وقوعها بسرعة وفعالية.

تعكس هذه التطورات التحديات المتزايدة التي تواجهها شركات الذكاء الاصطناعي، والتي تتطلب منها تحسين أنظمة الحماية لمواكبة تزايد قدرات النماذج،
هذه التحسينات ضرورية خاصةً مع تحول الذكاء الاصطناعي لتنفيذ مهام معقدة والتفاعل مع أنظمة خارجية.

الحاجة إلى تعزيز الرقابة على شركات الذكاء الاصطناعي

تطرح حوادث الأمان نقاشات حول مدى جدوى التنظيم الذاتي للشركات وسط دعوات لتطوير قواعد واضحة للسلامة،
وفي حديثه الأخير مع NBC، دعا بيل جيتس، الشريك المؤسس لشركة Microsoft، إلى إجراءات فورية من الجهات التشريعية وتعزيز الدعم الأمني من قبلهم.

تأتي هذه الدعوات في وقت تمر فيه صناعة الذكاء الاصطناعي بتحديات كبيرة، تتمثل في تطوير قدرات النماذج وبناء أنظمة أمان فعالة،
هذه الأنظمة لابد أن تستطيع التعامل مع المخاطر المترتبة على استخدام الذكاء الاصطناعي وضمان سلامته.

Categories: تكنولوجيا
Eman Moustafa: