تزریق پرامپت در فایل و صفحه وب؛ چرا متن منبع نباید دستور شود؟

فهرست مطالب (7 بخش)

تزریق پرامپت زمانی رخ می‌دهد که متن غیرقابل‌اعتماد، مثل یک صفحه وب یا فایل، تلاش کند به‌جای داده، نقش دستور را برای مدل بگیرد. برای کاهش خطر، فقط نوشتن «دستورهای داخل فایل را نادیده بگیر» کافی نیست؛ دسترسی و اقدام‌های واقعی ابزار باید بیرون از متن پرامپت کنترل شوند.

فرض کنید یک دستیار قرار است چند گزارش را خلاصه کند. داخل یکی از گزارش‌ها جمله‌ای دیده می‌شود که از دستیار می‌خواهد نتیجه را عوض کند یا اطلاعات بیشتری از جای دیگری بخواند. آن جمله بخشی از گزارش است، نه اجازه‌ای از طرف کاربر. این تفاوت ساده در گردش کارهای متصل به ایمیل، فایل یا پایگاه داده اهمیت بیشتری پیدا می‌کند.

دستور مستقیم با داده واردشده فرق دارد

در یک کار معمولی، کاربر هدف و حدود کار را مشخص می‌کند و سند، اطلاعات لازم را می‌دهد. مشکل از جایی شروع می‌شود که متن سند، اختیار تعیین هدف یا فراخوانی ابزار را پیدا کند. ظاهر رسمی، لوگوی سازمان یا جمله «پیام مدیر سیستم» در یک فایل، به آن اختیار واقعی نمی‌دهد.

حتی سندی که از یک دامنه شناخته‌شده گرفته‌اید ممکن است بخش نقل‌شده، محتوای کاربر یا متن دست‌کاری‌شده داشته باشد. بنابراین اعتماد را صرفاً به نام سایت گره نزنید. پرسش اصلی این است که کدام بخش واقعاً مجاز به تعیین دستور است و کدام بخش فقط باید تحلیل شود.

نشانه‌ها کمک می‌کنند، اما دیوار امنیتی نیستند

درخواست تغییر هدف، پنهان‌کردن رفتار از کاربر، افشای اطلاعات و اجرای کاری خارج از موضوع از نشانه‌های مشکوک‌اند. بااین‌حال، فهرست چند عبارت ثابت همه حالت‌ها را نمی‌گیرد. دستور ممکن است با زبان دیگر، نقل‌قول، جدول یا محتوای تصویری بیان شود. نبود کلمه مشکوک، دلیل امن‌بودن ورودی نیست.

راهنمای OWASP نیز تأکید می‌کند تفکیک متنی و غربال واژه‌ها جای مرز واقعی اختیار را نمی‌گیرند. لازم است داده بیرونی غیرقابل‌اعتماد فرض شود و مجوز و پارامتر اقدام در محل اجرای ابزار بررسی شود. این اصل را به وعده «پرامپت ضدتزریق صددرصدی» تبدیل نکنید.

گردش کار را با کمترین اختیار شروع کنید

اگر هدف خلاصه‌سازی است، دستیار به ابزار ارسال ایمیل، حذف فایل یا تغییر سفارش نیاز ندارد. دسترسی خواندن را نیز به همان منابع مجاز محدود کنید. یک ابزار متصل با دسترسی گسترده می‌تواند پیامد خطا را بزرگ‌تر کند، حتی اگر متن دستور شما دقیق نوشته شده باشد.

برای کاری که واقعاً اقدام بیرونی لازم دارد، مرحله تأیید باید خودِ اقدام را نشان دهد: گیرنده، متن، فایل پیوست یا شناسه رکورد. تأیید کلی «ادامه بده» بدون دیدن این موارد، کنترل روشنی نیست. بررسی مجوز کاربر و مالکیت داده نیز باید مستقل از اینکه مدل چه چیزی پیشنهاد کرده انجام شود.

یک آزمون بی‌خطر طراحی کنید

روی محیط آزمایشی و با داده ساختگی، سندی آماده کنید که وسط اطلاعات عادی، جمله‌ای برای تغییر هدف داشته باشد؛ مثلاً از خلاصه‌ساز بخواهد به‌جای خلاصه فقط یک عبارت بی‌ربط بنویسد. سپس ببینید آیا خروجی از هدف اصلی خارج می‌شود یا نه. این آزمون نباید به داده واقعی یا ابزار دارای اثر بیرونی وصل باشد.

اگر سیستم ابزار هم دارد، به‌جای ابزار واقعی از جایگزینی استفاده کنید که فقط پیشنهاد اقدام را ثبت می‌کند. هدف این است که رفتار را مشاهده کنید، نه اینکه برای آزمایش، پیام واقعی بفرستید یا داده‌ای تغییر دهید. یک آزمون موفق نیز به معنی پوشش همه حمله‌ها نیست؛ نوع ورودی و دامنه اختیار را در گزارش بنویسید.

هنگام مشاهده متن مشکوک چه کنیم؟

کار حساس را متوقف و منبع مشکوک را از دستور معتبر جدا کنید. اگر هنوز می‌توان اطلاعات عادی سند را با روش امن بررسی کرد، فقط همان بخش لازم را تحلیل کنید. پیشنهاد اجرای اقدام را پیش از هر اثر بیرونی به انسان مسئول نشان دهید. متن مشکوک را برای «دیدن اینکه چه می‌شود» به ابزار دارای اختیار گسترده نسپارید.

در ثبت رخداد، از نگهداری رمز، کلید و محتوای شخصی غیرضروری خودداری کنید. نشانی منبع، زمان، نوع تغییر هدف و نتیجه مشاهده‌شده معمولاً برای شروع بررسی مفیدتر از کپی همه داده حساس در یک گزارش عمومی است. مسیر پاسخ‌گویی سازمان را نیز رعایت کنید.

آیا پرامپت طولانی‌تر مشکل را حل می‌کند؟

ممکن است رفتار را بهتر کند، اما تضمین مرز امنیتی نیست. اگر ابزار بدون کنترل مجوز می‌تواند اقدام کند، متن طولانی جای آن کنترل را نمی‌گیرد.

آیا استفاده فقط از فایل‌های خودمان کافی است؟

خطر را ممکن است کمتر کند، اما فایل می‌تواند محتوای نقل‌شده یا دریافت‌شده داشته باشد. سطح دسترسی و کنترل اقدام همچنان لازم است.

برای کار روزمره، یک قاعده روشن نگه دارید: منبع می‌تواند اطلاعات بدهد، اما اختیار تازه ایجاد نمی‌کند. طراحی‌ای که این قاعده را در ابزار و مجوز اجرا می‌کند، از تکیه صرف بر جملات هشداردهنده قابل‌اتکاتر است.

برای ادامه یادگیری

منابع اصلی

حامد لطف

طراح و توسعه‌دهندهٔ وب؛ تجربهٔ ساخت پرتال‌ها، فروشگاه‌ها و پلتفرم‌های آموزشی. اینجا تجربه‌های واقعی کار را می‌نویسم — از طراحی و کد تا سئو و ابزارها.

پروژه دارم ↖
SPONSORED · تبلیغ

آموزش رایگان + سرمایه ترید

آموزش کاملا رایگان سیستم محور فارکس , کریپتو و بورس ایران همراه با سرمایه ترید

شروع رایگان ↖

دیدگاه‌ها

۰ دیدگاه

هنوز دیدگاهی ثبت نشده؛ اولین نفر باشید.

دیدگاه خود را بنویسید

نظرات پس از بررسی منتشر می‌شوند؛ ایمیل شما هیچ‌جایی نمایش داده نمی‌شود.
ادامهٔ مسیر

بیشتر بخوانید.

همهٔ «هوش مصنوعی» ↖
هوش مصنوعی

هر آنچه باید دربارهٔ خلاصه‌سازی متن و ویدیو بدانید (پرسش‌های پرتکرار)

تبدیل مقالهٔ بلند، PDF و حتی ویدیوی چندساعته به خلاصهٔ چندخطی یا نکات کلیدی با هوش مصنوعی. سرریز اطلاعات جدی‌ترین بیماری این دهه است؛ خلاصه‌سازی هوشمند یعنی خواندن ۵۰ مقاله در زمان ۵ مقاله. پرسش و پاسخ — در بلاگ حامد لطف

۲۴ بهمن۲ دقیقه مطالعه
هوش مصنوعی

نکته‌های طلایی تولید محتوا با هوش مصنوعی از تجربهٔ واقعی

تولید محتوای هوش مصنوعی یعنی استفاده از مدل‌های زبانی برای ایده، پیش‌نویس، بازنویسی و بهینه‌سازی متن‌های سایت و شبکه‌های اجتماعی. راهنمای کاربردی و کامل — نکات کاربردی در بلاگ حامد لطف.

۸ بهمن۲ دقیقه مطالعه