اکنون می توانید LLMها را روی لپ تاپ اسنپدراگون X Elite با LM Studio اجرا کنید

برای اجرای مدل های زبان بزرگ (LLM) به صورت داخلی بر روی رایانه شما، مسلماً هیچ نرم افزاری بهتر از LM Studio وجود ندارد. LLMهایی مانند ChatGPT، Google Gemini و Microsoft Copilot همگی در فضای ابری اجرا می شوند، که اساساً به این معنی است که آنها بر روی کامپیوتر دیگری اجرا می شوند.

نه تنها این، اجرای آنها بسیار پرهزینه بوده، و به همین دلیل است که همه آنها دارای یک گزینه طبقه پولی هستند که 20 دلار در ماه از شما بازگردانده می شود. با این حال، LM Studio این امکان را برای شما فراهم می‌کند تا مدل‌های مختلف را به صورت بومی اجرا کنید، و اکنون به طور رسمی برای لپ‌تاپ‌های اسنپدراگون X Elite در دسترس است.

در حال حاضر، LM Studio فقط در بخش CPU اسنپدراگون ایکس الیت قابل استفاده بوده، اما به زودی روی NPU نیز اجرا خواهد شد. می‌توانید با برخی از تنظیمات در LM Studio بازی کنید تا در حال حاضر آن را سریع‌تر بر روی CPU اجرا کنید، اما انتظار می‌رود که پشتیبانی از NPU سرعت کار را به میزان قابل توجهی افزایش دهد. حتی اگر سریع‌تر نشود، حداقل باید کارایی آن را بیشتر کند.

کوالکام بارها گفته است که قابلیت‌های هوش مصنوعی اسنپدراگون ایکس الیت به آن اجازه می‌دهد تا مدل‌هایی را به صورت بومی با پارامترهای 13B اجرا کند. برای مثال، نسخه‌های 13B پارامتری از Llama 3 و WizardLM وجود دارد، و تعداد بی‌شماری LLM آموزش دیده در جامعه وجود دارد که در آن محدودیت 13B قرار می‌گیرند. به‌علاوه، مدل‌هایی که در LM Studio اجرا می‌شوند، قادر به تولید هر خروجی هستند، از جمله محتوایی که مدل‌هایی مانند ChatGPT به “جیل بریک” برای آن نیاز دارند.

اگر می‌خواهید LM Studio را در اسنپدراگون ایکس الیت امتحان کنید، در حال حاضر در “نسخه پیش‌نمایش فناوری” قرار دارد، به این معنی که ممکن است باگ‌ها یا مشکلات دیگری در آن وجود داشته باشد.