مایکروسافت Phi-4 را معرفی کرد: مدل زبان کوچک پیشرفته با پارامتر 14B

در ابتدای سال جاری، شاهد انتشار سری Phi-3 از مدل‌های زبان کوچک بودیم. امروز، مایکروسافت مدل Phi-4 را رونمایی کرد؛ یک مدل زبان کوچک پیشرفته با 14 میلیارد پارامتر (SLM) که حتی از مدل زبان بزرگ GPT-4 شرکت OpenAI در معیارهای MATH و GPQA AI پیشی گرفته است.

مایکروسافت مدعی است که عملکرد برجسته Phi-4 در استدلال ریاضی به دلیل استفاده از مجموعه داده‌های مصنوعی با کیفیت بالا، مدیریت داده‌های ارگانیک با کیفیت بالا و پیشرفت‌های به دست آمده پس از آموزش است. داده‌های ترکیبی برای آموزش با استفاده از تکنیک‌های متعدد، از جمله درخواست چند عاملی، گردش کار بازبینی خودکار، و معکوس کردن دستورالعمل‌ها، تولید شده و داده‌های مصنوعی تولید شده، بخش بزرگی از داده‌های آموزشی Phi-4 را تشکیل داده‌اند.

مایکروسافت همچنین از تکنیک‌هایی مانند نمونه‌گیری ردیابی برای بهبود خروجی‌های مدل در طول فرآیند پس از آموزش بهره برده است. در مقاله فنی Phi-4، مایکروسافت به مسائل مربوط به نشت مجموعه‌های تست معیار از طریق اینترنت نیز پرداخته است. مایکروسافت فرآیند پاک‌سازی داده‌ها را برای Phi-4 ارتقاء داده تا از بی‌طرفی نتایج ارزیابی اطمینان حاصل شود.

برای اثبات این ادعا، مایکروسافت مدل Phi-4 را در مسابقات ریاضی AMC-10 و AMC-12 که در نوامبر 2024 برگزار شد، پس از جمع‌آوری داده‌های آموزشی، آزمایش کرده است. همانطور که در تصویر زیر می‌بینید، Phi-4 هم در مقایسه با مدل‌های هم‌اندازه یا باز و هم با مدل‌های مرزی بزرگ‌تر مانند Gemini 1.5 Pro عملکرد بهتری دارد. مایکروسافت از طریق این آزمایش ادعا می‌کند که عملکرد برتر Phi-4 در معیار MATH ناشی از بیش‌باری یا آلودگی نیست.

Phi-4 همچنین دارای محدودیت‌هایی است، زیرا به دلیل اندازه‌اش هنوز محدود است. در مواردی که به دانش واقعی نیاز است، توهم ایجاد می‌کند و در پیروی از دستورالعمل‌های دقیق کمتر ماهر است. برای ارزیابی ایمنی مدل، تیم Phi-4 با تیم مستقل AI Red (AIRT) در مایکروسافت همکاری کرده است تا خطرات ایمنی و امنیتی ناشی از Phi-4 را در سناریوهای کاربری معمولی و مخالف شناسایی کند.

Phi-4 اکنون در Azure AI Foundry تحت توافق‌نامه مجوز تحقیقاتی مایکروسافت (MSRLA) قابل دسترسی است و مایکروسافت قصد دارد Phi-4 را در Hugging Face در هفته آینده منتشر کند.