نحوه اجرای Llama 2 به صورت لوکال در مک یا ویندوز

اگر ایده ChatGPT، گوگ بارد، بینگ چت یا هر یک از دستیاران هوش مصنوعی دیگر را دوست دارید، ممکن است نگرانی هایی در رابطه با حریم خصوصی، هزینه ها یا موارد دیگر داشته باشید. اینجاست که Llama 2 وارد می شود. Llama 2 یک مدل زبان بزرگ منبع باز است که توسط Meta توسعه یافته و انواع مختلفی از 7 میلیارد تا 70 میلیارد پارامتر وجود دارد.

با توجه به اینکه این یک LLM منبع باز است، می توانید آن را تغییر دهید و به هر شکلی که می خواهید، در هر دستگاهی اجرا کنید. اگر می خواهید آن را روی یک دستگاه لینوکس، مک یا ویندوز امتحان کنید، به راحتی می توانید! برای اجرای Llama 2 به صورت لوکال به موارد زیر نیاز دارید:

• یکی از بهترین پردازنده های گرافیکی انویدیا (می توانید از AMD در لینوکس استفاده کنید)
• یک اتصال اینترنتی خوب

نحوه اجرای Llama 2 در مک یا لینوکس با استفاده از Olama

اگر مک دارید، می‌توانید از Ollama برای اجرای Llama 2 استفاده کنید. این آسان‌ترین راه برای انجام آن در بین همه پلتفرم‌ها است، زیرا برای انجام این کار به حداقل کار نیاز دارد. تنها چیزی که نیاز دارید یک مک و زمان برای دانلود LLM است، زیرا فایل بزرگی است.

گام اول: دانلود Ollama

اولین کاری که باید انجام دهید دانلود Ollama است. این بر روی مک و لینوکس اجرا می‌شود و دانلود و اجرای چندین مدل از جمله Llama 2 را آسان می‌کند. اگر می‌خواهید به راحتی آن را پیکربندی کنید، حتی می‌توانید آن را در ظرف Docker اجرا کنید. پس از دانلود Ollama، آن را در پوشه مورد نظر خود استخراج کرده و اجرا کنید.

گام دوم: مدل Llama 2 را دانلود کنید

هنگامی که Olama نصب شد، دستور زیر را اجرا کنید تا پارامتر 13 میلیارد مدل Llama 2 را بکشید.

ollama pull llama2:13b

این ممکن است کمی طول بکشد، بنابراین به آن زمان بدهید تا اجرا شود. این یک فایل 7.4 گیگابایتی بوده و ممکن است در برخی از اتصالات کند باشد.

گام سوم: Llama 2 را اجرا و با آن تعامل داشته باشید

سپس دستور زیر را برای اجرا و تعامل با مدل اجرا کنید.

ollama run llama2

سپس این مدل را راه اندازی شده و می توانید با آن تعامل داشته باشید.

نحوه اجرای Llama 2 در ویندوز با استفاده از رابط گرافیکی وب

اگر از یک دستگاه ویندوز استفاده می کنید، دیگر نیازی به نگرانی نیست، زیرا تنظیم آن به همین راحتی است، هرچند با مراحل بیشتر! شما می توانید یک مخزن GitHub را کلون کنید و آن را به صورت لوکال اجرا کنید، و این تنها کاری است که باید انجام دهید.

گام اول: رابط کاربری گرافیکی وب Llama 2 را دانلود و اجرا کنید

اگر با Stable Diffusion و اجرای آن به صورت لوکال از طریق یک رابط کاربری گرافیکی وب آشنا هستید، این همان چیزی است که اساساً وجود دارد. مخزن GitHub Web UI تولید متن oobabooga از آن الهام گرفته شده و تقریباً به همان روش کار می کند.

• مخزن لینک بالا را دانلود کنید.
• بسته به پلتفرمی که از آن استفاده می کنید start_windows.bat، start_linux.sh یا start_macos.sh را اجرا کنید.
• GPU خود را انتخاب کنید و به آن اجازه دهید هر آنچه را که نیاز دارد نصب کند/

گام دوم: به رابط کاربری گرافیکی وب Llama 2 دسترسی پیدا کنید

از موارد بالا، می بینید که یک آدرس IP لوکال برای اتصال به رابط کاربری گرافیکی وب به شما می دهد. در مرورگر خود به آن متصل شوید و باید رابط کاربری گرافیکی وب را ببینید. روی اطراف کلیک کنید و با UI آشنا شوید. ابتدا یک پنجره چت را بارگذاری کرده اید، اما تا زمانی که یک مدل را بارگیری نکنید، کار نخواهد کرد.

گام 3: مدل Llama 2 را بارگذاری کنید

اکنون باید یک مدل را بارگذاری کنید. این کار کمی طول می کشد زیرا نیاز به دانلود آن دارد، اما می توانید این کار را از داخل رابط کاربری گرافیکی وب انجام دهید.

• روی تب Model در بالا کلیک کنید
• در سمت راست، TheBloke/Llama-2-13B-chat-GPTQ را وارد کنید و روی دانلود کلیک کنید.
• اگر در حال دانلود است، باید یک نوار پیشرفت را در خط فرمان خود مشاهده کنید، زیرا فایل های مربوطه را دانلود می کند.
• وقتی تمام شد، لیست مدل را در سمت چپ بازخوانی کنید و روی مدل دانلود شده کلیک کنید.
• روی Load کلیک کنید، مطمئن شوید که مدل لودر GPTQ-for-LLaMa را نوشته است.

ممکن است لحظه ای طول بکشد تا بارگیری شود، زیرا این مدل ها به VRAM زیادی نیاز دارند.

مرحله 4: تعامل با Llama 2!

همه چیز خوب پیش می رود، اکنون باید Llama 2 را روی رایانه خود اجرا کنید! تا زمانی که سخت افزار لازم برای اجرای آن را داشته باشید، می توانید از طریق مرورگر خود در محیطی بدون اینترنت با آن تعامل داشته باشید.