غیبت OpenAI از طرح ایمنی NVIDIA برای مهار عامل‌های سرکش هوش مصنوعی

به گزارش تک مسیر؛ هم‌زمان با گسترش استفاده از عامل‌های هوش مصنوعی (AI Agents)، کنترل رفتار سیستم‌های خودمختار و جلوگیری از دسترسی‌های خارج از محدوده به یکی از چالش‌های مهم صنعت فناوری تبدیل شده است. NVIDIA در پاسخ به این مسئله، Open Agent Safety Platform را معرفی کرده؛ پلتفرمی صنعتی که با مشارکت بیش از ۱۰۰ شرکت فناوری، ابزارهایی برای افزایش ایمنی عامل‌های هوش مصنوعی از مرحله آزمایش تا استقرار ارائه می‌کند.

با وجود حضور شرکت‌های مختلف در این ابتکار، نام OpenAI (اوپن‌ای‌آی) در فهرست حامیان عمومی آن قرار ندارد. با این حال، این غیبت به معنای قطع همکاری دو شرکت در حوزه ایمنی عامل‌های هوش مصنوعی نیست؛ سخنگوی OpenAI همکاری فنی این شرکت با NVIDIA (انویدیا) در زمینه امنیت عامل‌ها را تأیید کرده است.

NVIDIA چگونه می‌خواهد عامل‌های هوش مصنوعی را مهار کند؟

یکی از بخش‌های مهم این طرح، OpenShell است؛ یک چارچوب متن‌باز که برای اجرای عامل‌های هوش مصنوعی در یک محیط ایزوله یا Sandbox طراحی شده است. هدف این محیط آن است که عامل بتواند وظایف خود را انجام دهد، اما دسترسی آن به منابع سیستم و اقدامات خارج از محدوده تعیین‌شده کنترل شود.

این مسئله با افزایش استفاده از عامل‌های خودمختار اهمیت بیشتری پیدا می‌کند؛ زیرا برخلاف یک چت‌بات معمولی، عامل هوش مصنوعی می‌تواند مجموعه‌ای از اقدامات را به‌صورت چندمرحله‌ای اجرا کند و با ابزارها، فایل‌ها و محیط‌های نرم‌افزاری مختلف تعامل داشته باشد.

NVIDIA در کنار OpenShell، Sentry را نیز به‌عنوان بخش سخت‌افزاری و امنیتی این معماری معرفی کرده است. Sentry روی زیرساخت سخت‌افزاری NVIDIA طراحی شده و هدف آن ایجاد یک لایه امنیتی برای کنترل اجرای عامل‌هاست.

چرا نام OpenAI در فهرست حامیان عمومی نیست؟

غیبت OpenAI از فهرست عمومی حامیان، در حالی رخ داده که این شرکت خود یکی از بازیگران اصلی توسعه سیستم‌های عامل‌محور هوش مصنوعی است. با این حال، منابع مورد استناد TechCrunch نشان می‌دهند که OpenAI با NVIDIA در زمینه امنیت عامل‌ها همکاری دارد و از کار روی OpenShell نیز حمایت کرده است.

بنابراین، تفاوت میان عضویت یا حمایت رسمی از یک ابتکار صنعتی و همکاری فنی روی ابزارهای مشخص در اینجا اهمیت دارد. نبود نام یک شرکت در فهرست حامیان عمومی لزوماً به معنای مخالفت آن شرکت با هدف طرح نیست.

از سوی دیگر، ساختار فنی پلتفرم NVIDIA نیز می‌تواند در تصمیم شرکت‌های مختلف برای مشارکت رسمی مؤثر باشد. در حالی که OpenShell متن‌باز است، بخش‌هایی مانند Sentry به زیرساخت سخت‌افزاری NVIDIA وابسته‌اند. درباره اینکه این مسئله دقیقاً چه نقشی در تصمیم OpenAI داشته، گزارش‌ها صرفاً احتمالات و تحلیل‌هایی را مطرح کرده‌اند و نباید آن را به‌عنوان دلیل قطعی معرفی کرد.

رقابت شرکت‌ها بر سر استانداردهای ایمنی عامل‌ها

گسترش عامل‌های هوش مصنوعی باعث شده مسئله ایمنی از سطح عملکرد مدل‌ها فراتر برود و به نحوه اجرای عامل، سطح دسترسی، محیط فعالیت و کنترل اقدامات آن نیز برسد.

در چنین شرایطی، ایجاد استانداردهای مشترک می‌تواند به یک موضوع مهم در صنعت تبدیل شود؛ اما هم‌زمان شرکت‌های بزرگ فناوری ممکن است چارچوب‌ها و زیرساخت‌های امنیتی اختصاصی خود را نیز توسعه دهند.

ماجرای OpenAI و NVIDIA نشان می‌دهد که همکاری و رقابت در صنعت هوش مصنوعی می‌توانند هم‌زمان اتفاق بیفتند: شرکت‌ها ممکن است درباره یک تهدید مشترک همکاری فنی داشته باشند، اما الزاماً در یک ابتکار عمومی یا استاندارد صنعتی واحد قرار نگیرند.

میان‌بر تک‌مسیر

• عصاره خبر: NVIDIA با راه‌اندازی Open Agent Safety Platform و ابزارهایی مانند OpenShell، به دنبال ایجاد زیرساخت و استانداردهای ایمنی برای کنترل عامل‌های هوش مصنوعی است؛ در حالی که OpenAI در فهرست حامیان عمومی این طرح قرار ندارد اما همکاری فنی آن با NVIDIA در حوزه امنیت عامل‌ها تأیید شده است.

• مسیر اقدام: توسعه‌دهندگان و کسب‌وکارهایی که از AI Agents استفاده می‌کنند باید علاوه بر توانایی مدل، به محیط اجرای عامل، سطح دسترسی و سازوکارهای Sandbox و کنترل امنیتی آن نیز توجه کنند.

• ایده تک: رقابت آینده هوش مصنوعی فقط بر سر ساخت مدل‌های قدرتمندتر نیست؛ کنترل اینکه عامل‌ها چه کاری می‌توانند انجام دهند، به چه چیزی دسترسی دارند و چگونه متوقف می‌شوند به یکی از لایه‌های مهم رقابت فناوری تبدیل شده است.

• ایستگاه بعدی: 

ائتلاف گوگل و انویدیا برای هوش مصنوعی منعطف

وقتی هوش مصنوعی از محدوده آزمایش بیرون می‌زند