تزریق پرامپت زمانی رخ میدهد که متن غیرقابلاعتماد، مثل یک صفحه وب یا فایل، تلاش کند بهجای داده، نقش دستور را برای مدل بگیرد. برای کاهش خطر، فقط نوشتن «دستورهای داخل فایل را نادیده بگیر» کافی نیست؛ دسترسی و اقدامهای واقعی ابزار باید بیرون از متن پرامپت کنترل شوند.
فرض کنید یک دستیار قرار است چند گزارش را خلاصه کند. داخل یکی از گزارشها جملهای دیده میشود که از دستیار میخواهد نتیجه را عوض کند یا اطلاعات بیشتری از جای دیگری بخواند. آن جمله بخشی از گزارش است، نه اجازهای از طرف کاربر. این تفاوت ساده در گردش کارهای متصل به ایمیل، فایل یا پایگاه داده اهمیت بیشتری پیدا میکند.
دستور مستقیم با داده واردشده فرق دارد
در یک کار معمولی، کاربر هدف و حدود کار را مشخص میکند و سند، اطلاعات لازم را میدهد. مشکل از جایی شروع میشود که متن سند، اختیار تعیین هدف یا فراخوانی ابزار را پیدا کند. ظاهر رسمی، لوگوی سازمان یا جمله «پیام مدیر سیستم» در یک فایل، به آن اختیار واقعی نمیدهد.
حتی سندی که از یک دامنه شناختهشده گرفتهاید ممکن است بخش نقلشده، محتوای کاربر یا متن دستکاریشده داشته باشد. بنابراین اعتماد را صرفاً به نام سایت گره نزنید. پرسش اصلی این است که کدام بخش واقعاً مجاز به تعیین دستور است و کدام بخش فقط باید تحلیل شود.
نشانهها کمک میکنند، اما دیوار امنیتی نیستند
درخواست تغییر هدف، پنهانکردن رفتار از کاربر، افشای اطلاعات و اجرای کاری خارج از موضوع از نشانههای مشکوکاند. بااینحال، فهرست چند عبارت ثابت همه حالتها را نمیگیرد. دستور ممکن است با زبان دیگر، نقلقول، جدول یا محتوای تصویری بیان شود. نبود کلمه مشکوک، دلیل امنبودن ورودی نیست.
راهنمای OWASP نیز تأکید میکند تفکیک متنی و غربال واژهها جای مرز واقعی اختیار را نمیگیرند. لازم است داده بیرونی غیرقابلاعتماد فرض شود و مجوز و پارامتر اقدام در محل اجرای ابزار بررسی شود. این اصل را به وعده «پرامپت ضدتزریق صددرصدی» تبدیل نکنید.
گردش کار را با کمترین اختیار شروع کنید
اگر هدف خلاصهسازی است، دستیار به ابزار ارسال ایمیل، حذف فایل یا تغییر سفارش نیاز ندارد. دسترسی خواندن را نیز به همان منابع مجاز محدود کنید. یک ابزار متصل با دسترسی گسترده میتواند پیامد خطا را بزرگتر کند، حتی اگر متن دستور شما دقیق نوشته شده باشد.
برای کاری که واقعاً اقدام بیرونی لازم دارد، مرحله تأیید باید خودِ اقدام را نشان دهد: گیرنده، متن، فایل پیوست یا شناسه رکورد. تأیید کلی «ادامه بده» بدون دیدن این موارد، کنترل روشنی نیست. بررسی مجوز کاربر و مالکیت داده نیز باید مستقل از اینکه مدل چه چیزی پیشنهاد کرده انجام شود.
یک آزمون بیخطر طراحی کنید
روی محیط آزمایشی و با داده ساختگی، سندی آماده کنید که وسط اطلاعات عادی، جملهای برای تغییر هدف داشته باشد؛ مثلاً از خلاصهساز بخواهد بهجای خلاصه فقط یک عبارت بیربط بنویسد. سپس ببینید آیا خروجی از هدف اصلی خارج میشود یا نه. این آزمون نباید به داده واقعی یا ابزار دارای اثر بیرونی وصل باشد.
اگر سیستم ابزار هم دارد، بهجای ابزار واقعی از جایگزینی استفاده کنید که فقط پیشنهاد اقدام را ثبت میکند. هدف این است که رفتار را مشاهده کنید، نه اینکه برای آزمایش، پیام واقعی بفرستید یا دادهای تغییر دهید. یک آزمون موفق نیز به معنی پوشش همه حملهها نیست؛ نوع ورودی و دامنه اختیار را در گزارش بنویسید.
هنگام مشاهده متن مشکوک چه کنیم؟
کار حساس را متوقف و منبع مشکوک را از دستور معتبر جدا کنید. اگر هنوز میتوان اطلاعات عادی سند را با روش امن بررسی کرد، فقط همان بخش لازم را تحلیل کنید. پیشنهاد اجرای اقدام را پیش از هر اثر بیرونی به انسان مسئول نشان دهید. متن مشکوک را برای «دیدن اینکه چه میشود» به ابزار دارای اختیار گسترده نسپارید.
در ثبت رخداد، از نگهداری رمز، کلید و محتوای شخصی غیرضروری خودداری کنید. نشانی منبع، زمان، نوع تغییر هدف و نتیجه مشاهدهشده معمولاً برای شروع بررسی مفیدتر از کپی همه داده حساس در یک گزارش عمومی است. مسیر پاسخگویی سازمان را نیز رعایت کنید.
آیا پرامپت طولانیتر مشکل را حل میکند؟
ممکن است رفتار را بهتر کند، اما تضمین مرز امنیتی نیست. اگر ابزار بدون کنترل مجوز میتواند اقدام کند، متن طولانی جای آن کنترل را نمیگیرد.
آیا استفاده فقط از فایلهای خودمان کافی است؟
خطر را ممکن است کمتر کند، اما فایل میتواند محتوای نقلشده یا دریافتشده داشته باشد. سطح دسترسی و کنترل اقدام همچنان لازم است.
برای کار روزمره، یک قاعده روشن نگه دارید: منبع میتواند اطلاعات بدهد، اما اختیار تازه ایجاد نمیکند. طراحیای که این قاعده را در ابزار و مجوز اجرا میکند، از تکیه صرف بر جملات هشداردهنده قابلاتکاتر است.
برای ادامه یادگیری
- هوش مصنوعی
- هر آنچه باید دربارهٔ امنیت و حریم خصوصی در هوش مصنوعی بدانید (پرسشهای پرتکرار)
- پیش از ارسال فایل به هوش مصنوعی چه اطلاعاتی را حذف کنیم؟
دیدگاهها
۰ دیدگاههنوز دیدگاهی ثبت نشده؛ اولین نفر باشید.