محافظ‌های هوش مصنوعی، دست و پای پژوهشگران امنیت را بسته‌اند

هوش مصنوعی به یکی از ابزارهای کلیدی در امنیت سایبری تبدیل شده است؛ از تحلیل کد و کشف آسیب‌پذیری‌ها گرفته تا توسعه ابزارهای دفاعی. اما حالا پژوهشگران امنیت تهاجمی — کسانی که وظیفه‌شان یافتن حفره‌های امنیتی پیش از هکرهاست — با چالشی تازه روبرو شده‌اند: محافظ‌های امنیتی (guardrails) که شرکت‌های بزرگ هوش مصنوعی روی مدل‌های خود اعمال می‌کنند، گاهی بیشتر از آنکه مفید باشند، مانع کار می‌شوند.

به گزارش TechCrunch، چندین پژوهشگر برجسته امنیت سایبری در گفت‌وگو با این رسانه، از تجربه خود در استفاده از مدل‌های هوش مصنوعی مانند مدل‌های OpenAI و Anthropic و محدودیت‌های آنها گفتند. نکته مشترک همه این گفت‌وگوها: محافظ‌های سختگیرانه، کار مدافعان شبکه و پژوهشگران قانونی را هم دشوار کرده است.

چرا محافظ‌ها به مانع تبدیل شده‌اند؟

شرکت‌های هوش مصنوعی برای جلوگیری از استفاده مخرب از مدل‌های خود، برنامه‌های تأیید هویت و محافظ‌های امنیتی طراحی کرده‌اند. برای مثال، OpenAI برنامه «دسترسی مورد اعتماد برای امنیت سایبری» (Trusted Access for Cyber) و Anthropic برنامه «تأیید امنیت سایبری» (Cyber Verification Program) را ارائه می‌دهند. کاربران تأییدشده می‌توانند با محدودیت‌های کمتری از این مدل‌ها استفاده کنند. با این حال، این فرآیندها و محافظ‌ها به شدت مورد انتقاد قرار گرفته‌اند.

مارک داوْد (Mark Dowd)، پژوهشگر مشهور امنیتی که سال‌ها آسیب‌پذیری‌های روز صفر (zero-day) را کشف و به دولت‌های غربی فروخته است، در یک پادکست امنیتی گفت: «برای من راحت نیست که این شرکت‌های بزرگ تصادفی، تصمیم‌های دلبخواهی درباره اینکه چه چیزی در امنیت ایمن است و چه چیزی نیست، بگیرند.»

داوْد اشاره کرد که این محافظ‌ها ممکن است جلوی فعالیت‌های قانونی پژوهشگران را هم بگیرد.

یک ابزار، دو کاربرد

کریس آنلی (Chris Anley)، دانشمند ارشد شرکت مشاوره امنیتی NCC Group، می‌گوید درخواست از یک مدل هوش مصنوعی برای بهره‌برداری از یک باگ (bug)، مرحله‌ای کلیدی در تأیید واقعی بودن یک آسیب‌پذیری و ارزش اصلاح آن است. اما اگر محافظ‌ها باعث شوند مدل از پاسخ دادن خودداری کند، این محافظ‌ها به مدافعان آسیب می‌زنند.

آنلی توضیح می‌دهد: «اینجاست که بخش تهاجمی در مقابل تدافعی و محافظ‌ها وارد می‌شود، چون درخواست ‘این کد را اصلاح کن’ هم یک مکانیسم ضروری برای دفاع است و هم یک نقشه راه برای یافتن آسیب‌پذیری‌های بحرانی در پایگاه کد. بنابراین همان ابزار، همزمان هم ابزاری تهاجمی است و هم تدافعی، و این دو را واقعاً نمی‌توان از هم جدا کرد.»

او این وضعیت را به یک چکش تشبیه می‌کند: «نمی‌توان بدون چکش خانه ساخت. چکش قطعاً یک ابزار است، اما در عین حال یک سلاح هم هست.»

پناه بردن به مدل‌های متن‌باز

برخی پژوهشگران، وقتی با چنین موانعی روبه‌رو می‌شوند، به سراغ مدل‌های هوش مصنوعی متن‌باز می‌روند که هیچ محافظی ندارند. کریس تامپسون (Chris Thompson)، مدیرعامل شرکت RemoteThreat و بنیان‌گذار کنفرانس Offensive AI Con، می‌گوید در تجربه او، محافظ‌ها ناسازگارند و هر روز به شکلی کار می‌کنند. حتی در برنامه‌های تأییدشده نیز خروجی‌ها بیش از حد پالایش می‌شوند.

تامپسون می‌گوید: «تأثیر عملی این است که شما زمان زیادی را صرف چانه‌زنی با مدل می‌کنید، به جای اینکه روی برنامه اصلی امنیتی کار کنید. به جای تحلیل یک آسیب‌پذیری و استدلال درباره قابلیت بهره‌برداری، به دنبال این هستید که چرا نتایج متناقض می‌گیرید یا چرا مدل‌ها خروجی را بیش از حد پالایش می‌کنند.»

در نتیجه، پژوهشگران به مدل‌های متن‌باز چینی مانند GLM روی می‌آورند — مدل‌هایی که بدون نیاز به تأیید هویت و محدودیت‌های استفاده، قابل دانلود و اجرا به صورت محلی هستند. تامپسون هشدار می‌دهد: «شما پژوهشگران مسئولیت‌پذیر را از سیستم‌های تحت حاکمیت آمریکا به سمت سیستم‌های خارجی سوق می‌دهید. به نظر من، وجود این محافظ‌ها بیشتر مضر است تا مفید.»

نشت داده‌ها و نگرانی‌های دیگر

برخی پژوهشگران از ترس نشت اطلاعات حساس، از مدل‌های ابری برای یافتن آسیب‌پذیری استفاده نمی‌کنند. پائولو استانیو (Paolo Stagno)، مدیر فناوری شرکت CrowdFense که آسیب‌پذیری‌های ناشناخته را کشف و به دولت‌ها می‌فروشد، می‌گوید آنها فقط برای مهندسی معکوس (reverse engineering) از مدل‌های پیشرفته استفاده می‌کنند. برای کشف آسیب‌پذیری و ساخت اکسپلویت (exploit) به سراغ مدل‌های متن‌باز محلی می‌روند تا داده‌ها به بیرون درز نکند.

جوزپه کالی (Giuseppe Cali)، پژوهشگر امنیتی که آسیب‌پذیری‌های روز صفر را پیدا می‌کند، می‌گوید محافظ‌ها مانع کار او نیستند، چون او برای کار تهاجمی از هوش مصنوعی استفاده نمی‌کند. او ترجیح می‌دهد کشف باگ و توسعه اکسپلویت را خودش انجام دهد و از هوش مصنوعی فقط برای مهندسی معکوس اولیه و ساخت ابزارهای کمکی بهره می‌برد. کالی می‌گوید: «من هنوز می‌خواهم کشف واقعی باگ و ساخت سلاح را خودم انجام دهم، و این حتی اگر فردا همه محافظ‌ها برداشته شوند، تغییر نمی‌کند. من به باگ‌هایم حسادت می‌کنم و این بازی را آنقدر دوست دارم که نمی‌خواهم مدل‌ها به جای من بازی کنند.»

پیامدها برای ایران و جهان

برای جامعه امنیت سایبری ایران نیز این بحث اهمیت زیادی دارد. با افزایش تحریم‌ها و محدودیت‌های دسترسی به فناوری‌های پیشرفته، محافظ‌های سختگیرانه‌تر می‌توانند پژوهشگران ایرانی را بیشتر به سمت استفاده از مدل‌های متن‌باز یا ابزارهای جایگزین سوق دهند. در حالی که مدل‌های متن‌باز انعطاف‌پذیری بیشتری دارند، اما ممکن است از نظر توانایی با مدل‌های پیشرفته تجاری رقابت نکنند.

تامپسون از آزمایشگاه‌های پیشرو هوش مصنوعی می‌خواهد به جای سخت‌گیری بیشتر، برنامه‌های خود را باز کنند، دسترسی مسئولانه فراهم آورند و کسانی را که از ابزارها سوءاستفاده می‌کنند، پاسخگو بدانند. او هشدار می‌دهد: «طوفان بزرگی در راه است. موج عظیمی از حملات با سرعت و مقیاسی بی‌سابقه رخ خواهد داد. اما همان شرکت‌های مشاوره امنیتی و پژوهشگران قانونی که می‌خواهند تفاوتی ایجاد کنند، همین حالا هم دست و پایشان بسته شده است.»

در نهایت، به نظر می‌رسد یافتن تعادل میان امنیت و دسترسی، چالشی است که هم شرکت‌های هوش مصنوعی و هم پژوهشگران امنیتی باید با دقت به آن بپردازند. شاید زمان آن رسیده باشد که به جای محافظ‌های خشک و انعطاف‌ناپذیر، رویکردی هوشمندانه‌تر و مبتنی بر اعتماد در پیش گرفته شود.