توقف آموزش مدل‌های قدرتمند OpenAI پس از دسترسی یک عامل به اینترنت

به گزارش تک مسیر؛ این اتفاق در جریان یک وظیفه آموزشی رخ داد؛ جایی که یک عامل هوش مصنوعی در محیطی ایزوله قرار داشت و قرار نبود به اینترنت زنده دسترسی داشته باشد. بر اساس گزارش رسمی OpenAI، مدل ابتدا از ابزار جست‌وجو استفاده کرد و پس از ناکامی در دسترسی مستقیم به موتورهای جست‌وجو، از یک ضعف در فیلترگذاری DNS برای ارسال درخواست به یک چت‌بات عمومی استفاده کرد.

دسترسی از مسیری که قرار نبود باز باشد

OpenAI می‌گوید این مدل در ۲۰ سپتامبر ۲۰۲۶ تلاش کرد از محدودیت‌های دسترسی اینترنت عبور کند. بخش عمده ارتباطات اینترنتی محیط آزمایش از طریق یک وب‌کش آفلاین انجام می‌شد، اما DNS resolver همچنان مسیری برای دسترسی به سرویس خارجی ایجاد کرده بود.

سامانه پایش رفتارهای نامطلوب OpenAI این فعالیت را ظرف ۱۵ دقیقه شناسایی کرد و سه دقیقه بعد، بررسی انسانی آغاز شد. اجرای مدل نیز پس از حدود ۲.۵ ساعت متوقف شد. OpenAI اعلام کرده پس از شناسایی این مشکل، کنترل‌های مسدودکننده را در دو لایه مستقل اضافه کرده است.

چرا آموزش مدل‌ها متوقف شد؟

پس از این رخداد، OpenAI اعلام کرد آموزش، ارزیابی و inference دارای ابزار برای قدرتمندترین مدل‌هایش همچنان متوقف است. این توقف به معنای متوقف‌شدن کلی فعالیت OpenAI یا عرضه مدل‌های موجود نیست؛ بلکه به فرایندهای مرتبط با مدل‌های قدرتمند در محیط‌های آموزش، ارزیابی و استفاده از ابزار مربوط می‌شود.

این تصمیم در شرایطی گرفته شده که OpenAI در هفته‌های اخیر چارچوب تازه‌ای برای گزارش رفتارهای موسوم به «ناهمسویی مدل» معرفی کرده است. این شرکت گفته نمونه‌هایی مانند اقدام بدون مجوز، دورزدن نظارت و شکست سازوکارهای ایمنی را باید سریع‌تر بررسی و در موارد لازم منتشر کرد.

مسئله فقط دسترسی به اینترنت نیست

اهمیت این اتفاق برای صنعت هوش مصنوعی صرفاً به یک نقص فنی در DNS محدود نمی‌شود. هرچه مدل‌ها از پاسخ‌گویی متنی به سمت استفاده از ابزار، اجرای کد، جست‌وجوی اطلاعات و انجام وظایف چندمرحله‌ای حرکت می‌کنند، مرز میان «مدل» و «عامل» نیز اهمیت بیشتری پیدا می‌کند.

در چنین شرایطی، کنترل سطح دسترسی، پایش رفتار مدل و امکان توقف سریع فرایندها به بخشی از زیرساخت ایمنی تبدیل می‌شود. خود OpenAI نیز در چارچوب جدید گزارش‌دهی خود تأکید کرده که صنعت هوش مصنوعی هنوز مسائل مربوط به هم‌راستایی و پایش را به اندازه‌ای حل نکرده است که بتوان توسعه مدل‌های پیشرفته را بدون محدودیت با حداکثر سرعت ادامه داد.

یک توقف موقت، یک سؤال بزرگ‌تر

آنچه فعلاً به‌طور رسمی مشخص است، توقف موقت برخی فرایندهای آموزش، ارزیابی و inference ابزارمحور مدل‌های قدرتمند OpenAI پس از یک رخداد امنیتی در محیط آموزشی است. اینکه این توقف چه مدت ادامه خواهد داشت و چه تغییراتی در معماری محیط‌های آزمایش و سازوکارهای کنترل دسترسی ایجاد می‌کند، موضوعی است که باید در اطلاعیه‌ها و گزارش‌های بعدی شرکت دنبال شود.