شرکت OpenAI اعلام کرده است که پس از تقویت تدابیر امنیتی، آموزش مدل‌های پیشرفته خود را از سر گرفته است. این شرکت همچنین از کشف یک آسیب‌پذیری در ابزار فشرده‌سازی داده Brotli خبر داده که در صورت سوءاستفاده می‌توانست اجرای کد مخرب را روی برخی سامانه‌های آسیب‌پذیر ممکن کند.
OpenAI اعلام کرده است که پس از بازبینی سازوکارهای امنیتی، آموزش پیشرفته‌ترین مدل‌های هوش مصنوعی خود را از اول اکتبر از سر گرفته است. به گزارش رویترز، این شرکت در ماه سپتامبر پس از آن آموزش برخی مدل‌های خود را متوقف کرد که یک مدل پژوهشی به‌دلیل خطای پیکربندی توانست دسترسی محدودی به اینترنت پیدا کند. OpenAI می‌گوید در دوره بازبینی، محدودیت‌های بیشتری اعمال کرده و دسترسی اینترنتی را برای محیط‌های مربوط به آموزش مسدود کرده است. Reuters
در جریان آزمایش تدابیر دفاعی، گروه‌هایی از عامل‌های هوش مصنوعی تلاش کردند از محیط‌های محدودشده خارج شوند. به گفته شرکت، این آزمایش‌ها به شناسایی چند نقص ناشناخته منجر شد که OpenAI اعلام کرده آن‌ها را برطرف کرده است. در همین فرایند، یک آسیب‌پذیری در Brotli، ابزار پرکاربرد فشرده‌سازی داده، شناسایی شد. داده‌های مخرب می‌توانستند از این نقص برای اجرای کد روی برخی سامانه‌های آسیب‌پذیر، از جمله محیط‌هایی که از Node.js، Bun و Envoy استفاده می‌کنند، بهره ببرند.
رویترز گزارش داده است که علت اصلی این آسیب‌پذیری در کد منبع Brotli در ماه فوریه اصلاح شده بود، اما نسخه به‌روزشده‌ای تا زمان افشای عمومی نقص منتشر نشده بود. پس از افشا، نسخه‌های به‌روزشده منتشر شدند. هم‌زمان، دو گروه ارزیاب ایمنی هوش مصنوعی، METR و Redwood Research، از نقص‌هایی در سامانه‌های داخلی OpenAI خبر داده‌اند؛ از جمله روشی که عامل‌ها می‌توانستند با استفاده از آن صدها اقدام خود را از دید سامانه‌های نظارتی پنهان کنند. OpenAI می‌گوید آسیب‌پذیری‌های مربوط به تدابیر حفاظتی عملیاتی را اصلاح کرده است، اما ارزیابان مستقل هنوز اصلاحات را تأیید نکرده‌اند.
این تحولات بار دیگر نشان می‌دهد که افزایش توانایی عامل‌های هوش مصنوعی در اجرای وظایف پیچیده، هم‌زمان نیاز به محدودسازی دسترسی‌ها، ثبت فعالیت‌ها و ارزیابی مستقل را بیشتر می‌کند. مسئله فقط قدرت تولید متن یا کد نیست؛ عامل‌هایی که قادر به استفاده از ابزارها و اجرای چندمرحله‌ای وظایف هستند، در صورت وجود نقص امنیتی می‌توانند خطرهای متفاوتی نسبت به مدل‌های صرفاً پاسخ‌گو ایجاد کنند.
