مایکروسافت دو ویژگی امنیتی جدید هوش مصنوعی را ارائه کرد
امروز، مایکروسافت از دسترسی عمومی به ویژگی‌های امنیتی جدید هوش مصنوعی در Azure AI Content Safety و Azure OpenAI Service خبر داد. این ویژگی‌های جدید شامل Prompt Shields و تشخیص مواد محافظت‌شده می‌شوند. Prompt Shields یک راه‌حل هوش مصنوعی است که برای مقابله با حملات مستقیم (جیل‌بریک) و تزریق غیرمستقیم طراحی شده است.
این قابلیت می‌تواند با فیلترهای محتوای Azure OpenAI Service و امنیت محتوای Azure AI ادغام شود. Prompt Shields با استفاده از الگوریتم‌های پیشرفته یادگیری ماشین و پردازش زبان طبیعی، تهدیدات احتمالی را در درخواست‌های کاربر و داده‌های دیگر شناسایی و کاهش می‌دهد. از ویژگی‌های کلیدی Prompt Shields می توان به موارد زیر اشاره کرد:
- Prompt Shields for Direct Attacks: که پیشتر به عنوان تشخیص خطر فرار از زندان شناخته می‌شد، این سپر به هدف قرار دادن حملات تزریق مستقیم می‌پردازد، جایی که کاربران عمداً از آسیب‌پذیری‌های سیستم برای ایجاد رفتارهای غیرمجاز از LLM سوءاستفاده می‌کنند. این امر می‌تواند منجر به تولید محتوای نامناسب یا نقض محدودیت‌های اعمال‌شده توسط سیستم شود.
- Prompt Shields for Indirect Attacks: این ویژگی به محافظت در برابر حملاتی می‌پردازد که از اطلاعاتی استفاده می‌کنند که به طور مستقیم توسط کاربر یا توسعه‌دهنده ارائه نشده‌اند، مانند اسناد خارجی. مهاجمان ممکن است دستورالعمل‌های مخفی را در این مواد جاسازی کنند تا کنترل غیرمجاز بر جلسه LLM را به دست آورند.
این ویژگی‌ها می‌توانند در برنامه‌های هوش مصنوعی ادغام شوند تا امنیت و یکپارچگی آنها را ارتقا دهند و از تلاش‌های مخرب برای دستکاری یا بهره‌برداری جلوگیری کنند. تشخیص مواد محافظت‌شده یک راه‌حل جدید هوش مصنوعی است که می‌تواند از خروجی‌هایی که ممکن است حقوق چاپ را نقض کنند، محافظت نماید. خطر نقض حقوق مالکیت فکری یکی از بزرگ‌ترین دغدغه‌ها در مورد برنامه‌های کاربردی هوش مصنوعی تولیدی است.
برای رفع این دغدغه، سرویس تشخیص مواد محافظت‌شده، تکمیل‌های LLM را بررسی می‌کند و آنها را با فهرست محتوای متنی شخص ثالث برای تشخیص استفاده از محتوای متنی شخص ثالث، از جمله آهنگ‌ها، مقالات خبری و محتوای وب منتخب، مطابقت می‌دهد. هر دو ویژگی Prompt Shield و تشخیص مواد محافظت‌شده اکنون در Azure AI Content Safety و Azure OpenAI Service در دسترس هستند.
