OpenAI می گوید مرورگرهای هوش مصنوعی ممکن است همیشه در برابر حملات تزریق سریع آسیب پذیر باشند
OpenAI says AI browsers may always be vulnerable to prompt injection attacks
حتی زمانی که OpenAI برای سختتر کردن مرورگر Atlas AI خود در برابر حملات سایبری تلاش میکند، این شرکت اعتراف میکند که تزریقهای سریع، نوعی حمله که عوامل هوش مصنوعی را برای پیروی از دستورالعملهای مخربی که اغلب در صفحات وب یا ایمیلها پنهان میشوند، دستکاری میکند، خطری است که به این زودیها از بین نمیرود – و این سؤال را در مورد اینکه عوامل هوش مصنوعی چقدر ایمنتر میتوانند بر روی وبسایت باز عمل کنند، ایجاد میکند. وب، بعید است که هرگز به طور کامل «حل شود»، OpenAI در یک پست بلاگ دوشنبه نوشت که چگونه شرکت در حال تقویت زره پوش Atlas برای مبارزه با حملات بی وقفه است. در Google Docs که قادر به تغییر رفتار مرورگر اصلی بودند در همان روز، Brave یک پست وبلاگی منتشر کرد که در آن توضیح میداد که تزریق سریع غیرمستقیم یک چالش سیستماتیک برای مرورگرهای مجهز به هوش مصنوعی است، از جمله Comet OpenAI Perplexity تنها نیست که تشخیص میدهد که تزریقهای مبتنی بر فوری در مرکز امنیت ملی Cybernje در ماه قبل از بین نمیرود. حملات علیه برنامههای هوش مصنوعی مولد «ممکن است هرگز به طور کامل کاهش پیدا نکنند»، وبسایتها را در معرض خطر قرار گرفتن قربانی نقض دادهها قرار میدهد. آژانس دولتی بریتانیا به متخصصان سایبری توصیه کرد تا خطر و تأثیر تزریق سریع را کاهش دهند، به جای اینکه فکر کنند میتوان حملات را «توقف کرد» برای بخش OpenAI، این شرکت گفت: «ما به یک چالش سریع و طولانی مدت برای تقویت هوش مصنوعی نیاز داریم. دفاع در برابر آنپاسخ این شرکت به این وظیفه سیزیفی؟ یک چرخه واکنش سریع و فعال که به گفته شرکت نوید اولیه برای کمک به کشف استراتژیهای حمله جدید در داخل کشور است، قبل از اینکه در طبیعت مورد سوء استفاده قرار گیرند. به عنوان مثال، کار اخیر گوگل که تحت استرس آزمایش شده است، بر روی کنترلهای معماری و سطح سیاست برای سیستمهای عامل تمرکز دارد، اما جایی که OpenAI روش متفاوتی را اتخاذ میکند، حملهکننده خودکار مبتنی بر LLM است. شبیهسازی قبل از استفاده واقعی از آن، و شبیهساز نشان میدهد که هوش مصنوعی هدف چگونه فکر میکند و اگر حمله را ببیند چه اقداماتی انجام میدهد. سپس ربات میتواند آن پاسخ را مطالعه کند، حمله را تغییر دهد، و بارها و بارها تلاش کند. تست ایمنی هوش مصنوعی: یک عامل بسازید تا موارد لبه را پیدا کند و به سرعت در برابر آنها در شبیهسازی آزمایش کند: «مهاجم آموزشدیده ما [یادگیری تقویتی] میتواند عاملی را به اجرای جریانهای کاری پیچیده و مضر در افق طولانی که بیش از دهها (یا حتی صدها) مرحله آشکار میشود، هدایت کند، نوشت: «هیچ OpenAI گزارشهایی را که در کمپینهای انسانی خارجی مشاهده نکردیم نیز مشاهده نکردیم». در یک نسخه نمایشی (تصویر در قسمت بالا)، OpenAI نشان داد که چگونه مهاجم خودکار آن یک ایمیل مخرب را به صندوق ورودی کاربر وارد میکند، وقتی عامل هوش مصنوعی بعداً صندوق ورودی را اسکن کرد، دستورالعملهای پنهان در ایمیل را دنبال کرد و به جای نوشتن یک پاسخ خارج از دفتر، یک پیام استعفا ارسال کرد.اما پس از بهروزرسانی امنیتی، «حالت عامل» توانست با موفقیت تلاش تزریق سریع را تشخیص دهد و آن را به کاربر علامتگذاری کند، طبق گفته شرکت این شرکت میگوید در حالی که تزریق سریع به روشی بیگمان سخت است، اما بر تستهای مقیاس بزرگ و چرخههای وصله سریعتر تکیه میکند تا سیستمهای خود را قبل از اینکه در بهروزرسانیهای انآیاپن به حملات امنیتی به اشتراکگذاری در دنیای واقعی نشان داده شوند، سختتر کند. منجر به کاهش قابل اندازهگیری در تزریقهای موفقیت آمیز شد، اما میگوید که شرکت از قبل از راهاندازی با اشخاص ثالث برای سختتر کردن اطلس در برابر تزریق سریع کار کرده است. مک کارتی به TechCrunch گفت: «مرورگرهای عامل تمایل دارند در یک بخش چالش برانگیز از آن فضا بنشینند: استقلال متوسط همراه با دسترسی بسیار بالا. سخنگوی اطلس همچنین برای دریافت تاییدیه کاربر قبل از ارسال پیام یا پرداخت آموزش دیده است. OpenAI همچنین پیشنهاد میکند که کاربران دستورالعملهای خاصی را به نمایندگیها بدهند، نه اینکه به آنها دسترسی به صندوق ورودی خود را بدهند و به آنها بگویند «هر اقدامی را که لازم است انجام دهند». مک کارتی به TechCrunch گفت: «در اکثر موارد استفاده روزمره، مرورگرهای عامل هنوز ارزش کافی برای توجیه ریسک فعلی خود را ارائه نمی دهند."با توجه به دسترسی آنها به داده های حساس مانند ایمیل و اطلاعات پرداخت، خطر بالا است، حتی اگر این دسترسی نیز چیزی است که آنها را قدرتمند می کند، این تعادل تکامل خواهد یافت، اما امروز مبادلات هنوز بسیار واقعی هستند."
- AI
- AI browser
- atlas
- chatgpt atlas
- cybersecurity
- OpenAI
- prompt injections
- Security
