انتشار مدل هوش مصنوعی Sky-T1 به صورت متن باز با قابلیت استدلال و هزینه‌ای کمتر از 450 دلار

مدل‌های هوش مصنوعی که به اصطلاح مدل‌های استدلالی نامیده می‌شوند، به تدریج توسعه‌ی آسان‌تر و ارزان‌تری پیدا می‌کنند. تیمی از محققان مستقر در آزمایشگاه محاسبات آسمانی دانشگاه کالیفرنیا، برکلی، مدل استدلالی Sky-T1-32B-Preview را منتشر کردند که در مقایسه با نسخه قبلی مدل o1 شرکت OpenAI در چندین معیار کلیدی رقابتی است. به نظر می‌رسد Sky-T1 نخستین مدل استدلالی واقعاً متن‌باز باشد که می‌توان آن را از صفر بازتولید کرد؛ این تیم مجموعه داده‌ای را که برای آموزش آن استفاده کرده‌اند و همچنین کد آموزشی لازم را منتشر کرده است.

تیم محقق در یک پست وبلاگی نوشت: “به طرز شگفت‌انگیزی، Sky-T1-32B-Preview با هزینه‌ای کمتر از 450 دلار آموزش داده شده، که نشان می‌دهد امکان بازتولید قابلیت‌های استدلالی سطح بالا به طور مقرون به صرفه و کارآمد وجود دارد”.

قیمت 450 دلار ممکن است چندان مقرون به صرفه به نظر نرسد، اما مدت زیادی نیست که هزینه آموزش یک مدل با عملکرد مشابه معمولاً به میلیون‌ها دلار می‌رسید. داده‌های آموزشی مصنوعی، یا داده‌هایی که توسط مدل‌های دیگر تولید می‌شوند، به کاهش هزینه‌ها کمک کرده‌اند. مدل Palmyra X 004 که به تازگی توسط شرکت هوش مصنوعی Writer منتشر شده، تقریباً به طور کامل بر روی داده‌های مصنوعی آموزش دیده و هزینه توسعه آن تنها 700.000 دلار گزارش شده است.

برخلاف اکثر هوش‌های مصنوعی، مدل‌های استدلالی به طور مؤثری خود را بررسی می‌کنند که این امر به آن‌ها کمک می‌کند تا از برخی مشکلاتی که معمولاً مدل‌ها را دچار چالش می‌کند، اجتناب کنند. مدل‌های استدلالی معمولاً برای رسیدن به راه‌حل‌ها کمی بیشتر زمان می‌برند (معمولاً چند ثانیه تا چند دقیقه بیشتر در مقایسه با مدل‌های غیر استدلالی). مزیت این مدل‌ها این است که در حوزه‌هایی مانند فیزیک، علم و ریاضیات معمولاً قابل اعتمادتر هستند.

تیم NovaSky اعلام کرده است که از یک مدل استدلالی دیگر، یعنی QwQ-32B-Preview شرکت علی‌بابا، برای تولید داده‌های آموزشی اولیه Sky-T1 استفاده کرده و سپس این داده‌ها را “مرتب‌سازی” کرده و از GPT-4o-mini شرکت OpenAI برای بازسازی داده‌ها به فرمت قابل استفاده‌تر بهره برده است. آموزش مدل Sky-T1 با 32 میلیارد پارامتر حدود 19 ساعت به طول انجامید و از یک رک 8 عددی GPU Nvidia H100 استفاده شد.

بر اساس اطلاعات تیم NovaSky، مدل Sky-T1 در مقایسه با نسخه پیش‌نمایش اولیه o1 در MATH500، که مجموعه‌ای از چالش‌های ریاضی در سطح رقابت است، عملکرد بهتری دارد. این مدل همچنین در برابر پیش‌نمایش o1 در مجموعه‌ای از مسائل دشوار از LiveCodeBench، که یک ارزیابی کدنویسی است، برتری دارد.

با این حال، Sky-T1 در مقایسه با پیش‌نمایش o1 در GPQA-Diamond که شامل سوالات مرتبط با فیزیک، زیست‌شناسی و شیمی است و یک فارغ‌التحصیل دکترا باید به آن‌ها تسلط داشته باشد، عملکرد ضعیف‌تری دارد. نکته مهم دیگر این است که نسخه GA منتشر شده توسط OpenAI از o1، مدلی قوی‌تر از نسخه پیش‌نمایش o1 است و انتظار می‌رود که OpenAI در هفته‌های آینده مدل استدلالی بهتری به نام o3 را معرفی کند. تیم NovaSky همچنین اعلام کرده است که Sky-T1 تنها آغاز سفر آن‌ها برای توسعه مدل‌های متن‌باز با قابلیت‌های پیشرفته استدلالی است.