آشنایی با ویژگی‌های برجسته مدل‌های هوش مصنوعی متا Llama 4

در آوریل 2025، متا Llama 4، جدیدترین سری از مدل‌های هوش مصنوعی خود را معرفی کرد که نوآوری‌های چشمگیری نسبت به نسخه‌های قبلی دارد. در ادامه به سه قابلیت اصلی این مدل‌ها می پردازیم.

1. معماری متخصصان ترکیبی (MoE) – افزایش کارایی پردازشی

یکی از مهم‌ترین ویژگی‌های Llama 4، استفاده از معماری متخصصان ترکیبی (Mixture of Experts – MoE) است. این رویکرد جدید تنها بخشی از پارامترهای مدل را برای هر پردازش فعال می‌کند، برخلاف مدل‌های سنتی متراکم که همه پارامترها را در هر وظیفه به کار می‌گیرند.

برای مثال، Llama 4 Maverick دارای 400 میلیارد پارامتر است، اما فقط 17 میلیارد پارامتر را فعال می‌کند و از 128 متخصص برای بهبود پردازش بهره می‌برد. Llama 4 Scout، کوچک‌ترین مدل این سری، 109 میلیارد پارامتر دارد اما تنها 17 میلیارد پارامتر را فعال می‌کند و از 16 متخصص بهره می‌برد. Llama 4 Behemoth، قدرتمندترین مدل این مجموعه، با 2 تریلیون پارامتر تنها 288 میلیارد پارامتر فعال دارد و از 16 متخصص استفاده می‌کند.

این معماری، کارایی پردازش را افزایش داده، هزینه‌های محاسباتی را کاهش می‌دهد و تأخیر پردازشی را کمتر می‌کند. طبق ادعای متا، مدل‌های Llama 4 حتی می‌توانند روی یک پردازشگر گرافیکی Nvidia H100 اجرا شوند، که قابلیت قابل توجهی است.

2. پردازش چندوجهی بومی – ترکیب متن و تصویر

یکی دیگر از پیشرفت‌های کلیدی Llama 4، توانایی پردازش همزمان متن و تصویر به صورت بومی است. این قابلیت از مرحله اولیه آموزش مدل نشأت می‌گیرد، جایی که توکن‌های متنی و بصری در یک معماری یکپارچه ترکیب می‌شوند. این مدل‌ها با مقادیر عظیمی از داده‌های بدون برچسب از متن، تصویر و ویدیو آموزش دیده‌اند.

مدل‌های Llama 3.2 در سپتامبر 2024، دارای مدل‌های مجزای متنی و تصویری بودند، اما Llama 4 نیازی به تفکیک ندارد و هر دو نوع داده را همزمان پردازش می‌کند. یک رمزگذار بصری پیشرفته در این مدل‌ها گنجانده شده که امکان تجزیه و تحلیل پیچیده تصاویر و ورودی‌های چندگانه را فراهم می‌آورد. این فناوری کاربرد مدل‌ها را در تحلیل بصری پیچیده، ترکیب متن و تصویر و کاربردهای چندرسانه‌ای افزایش می‌دهد.

3. پنجره بافتی پیشرو در صنعت – ظرفیت پردازش بی‌سابقه

Llama 4 Scout از پنجره بافتی تا 10 میلیون توکن پشتیبانی می‌کند، که امکان پردازش بیش از 5 میلیون کلمه را فراهم می‌آورد. این مقدار یک جهش قابل توجه نسبت به 8K توکن در Llama 3 است، که حتی با ارتقای Llama 3.2 به 128K نیز قابل مقایسه نیست.

Llama 4 Maverick نیز ظرفیت 1 میلیون توکن دارد، که عملکرد بهینه‌ای در پردازش اطلاعات گسترده ارائه می‌دهد. این افزایش ظرفیت امکان تجزیه و تحلیل دقیق اسناد طولانی، کدهای پیچیده و مجموعه داده‌های عظیم را فراهم می‌آورد. در مقایسه، Gemini قبلاً رکورد 2 میلیون توکن را در اختیار داشت، اما اکنون Llama 4 پیشرو شده است.

با این قابلیت، مدل‌های Llama 4 می‌توانند مکالمات طولانی‌تر و تحلیل‌های عمیق‌تری ارائه دهند که آن‌ها را نسبت به مدل‌های قبلی و رقبای بازار برتری می‌بخشد.