فاکسکان از مدل زبانی بزرگ FoxBrain معرفی کرد

فاکسکان، شرکتی که به خاطر مونتاژ آیفون‌ها و دیگر محصولات اپل شناخته شده، از معرفی اولین مدل زبان بزرگ خود به نام FoxBrain خبر داده و قصد دارد از آن برای بهبود مدیریت تولید و زنجیره تأمین استفاده کند.

این شرکت تایوانی در بیانیه‌ای اعلام کرد که FoxBrain با استفاده از تنها 120 واحد پردازش گرافیکی H100 انویدیا آموزش دیده است. این مدل زبان بزرگ بر اساس معماری Llama 3.1 متا با 70 میلیارد پارامتر و با استفاده از روش تقطیر طراحی شده است. تقطیر یک مدل شامل استفاده از یک مدل والد و آموزش مدل “فرزند” بر اساس پاسخ‌های آن است.

فاکسکان همچنین اذعان کرد که مدل زبان بزرگ آن به اندازه مدل تقطیر DeepSeek چین کارایی ندارد، اما عملکرد کلی آن به استانداردهای جهانی بسیار نزدیک است. دکتر یونگ-هوی لی، مدیر مرکز تحقیقات هوش مصنوعی در موسسه تحقیقاتی هون های، اظهار داشت:

در ماه‌های اخیر، تقویت قابلیت‌های استدلال و استفاده بهینه از GPUها به تدریج به یک روند اصلی در حوزه هوش مصنوعی تبدیل شده است. مدل FoxBrain ما یک استراتژی آموزشی بسیار کارآمد را اتخاذ کرده که بر بهینه‌سازی فرآیند آموزش تمرکز دارد و به‌جای انباشت بی‌هدف قدرت محاسباتی، به بهبود کیفیت آموزش پرداخته است.

با استفاده از روش‌های آموزشی به‌دقت طراحی‌شده و بهینه‌سازی منابع، ما موفق به ساخت یک مدل هوش مصنوعی محلی با قابلیت‌های استدلال قوی شده‌ایم.

فاکسکان نه تنها محصولات اپل را مونتاژ می‌کند، بلکه سرورهای هوش مصنوعی انویدیا را نیز تولید می‌کند. به همراه 120 GPU H100، مدل FoxBrain با شبکه‌سازی Quantum-2 InfiniBand انویدیا مقیاس‌گذاری شده و آموزش در مدت زمان تقریباً چهار هفته به پایان رسیده است. فاکسکان توانست 98 میلیارد توکن داده‌های پیش‌آموزشی با کیفیت بالا را به زبان چینی سنتی و با طول پنجره زمینه 128K توکن تولید کند.

شراکت بین فاکسکان و انویدیا جدید نیست و هر دو شرکت در پروژه‌های دیگری نیز فعالیت دارند (از جمله ساخت بزرگ‌ترین تأسیسات تولید گرافیک های بلک‌ول در جهان). انویدیا همچنین سوپرکامپیوتر Taipei-1 را در اختیار فاکسکان قرار داده تا پیش‌آموزش مدل را تکمیل کند. فاکسکان اعلام کرده که FoxBrain به یک “موتور مهم” برای ارتقاء سه پلتفرم اصلی خود تبدیل خواهد شد: تولید هوشمند، خودروهای الکتریکی هوشمند و شهرهای هوشمند.