آموزش استقرار مدل های زبانی بزرگ
امروزه مدل‌های زبانی بزرگLarge Language models(LLM) ها که شاید بیشتر بواسطه ChatGPT و Gemini شناخته شده باشند، توانسته‌اند بسیاری از وظایف مربوط به پردازش زبان طبیعی مثل ترجمه، خلاصه سازی، درک زبان و … را با کیفیت مناسبی انجام دهند.
آموزش و ایجاد این مدل‌ها نیاز به منابع سخت افزاری زیاد و به طور خاص، پردازشگر گرافیکی قدرتمند و گرانقیمت دارد. اما خوشبختانه مدل‌های متن باز(open source) چند زبانه‌ای که اخیرا منتشر شده، از کیفیت خوبی روی زبان فارسی برخوردار است. از جمله این مدل‌ها می‌توان به مدل Llama3 و C4ai اشاره کرد.
اگر می خواهید یکی از این مدل‌ها را برای استفاده شخصی یا سازمانی خود استفاده کنید و با رابط کاربری شبیه محیط Chat GPT از آن استفاده کنید، با این مقاله از دکتر مصطفی امیری، مدیر هوش مصنوعی دال همراه باشید.
آموزش استقرار مدل زبانی بزرگ در سرور شخصی
ابتدا لازم است که روی سیستم خود Docker را نصب کرده باشید. سپس ایمیج ollama را با دستور زیر دریافت و اجرا کنید. اگر پردازنده گرافیکی مناسب ندارید در دستور دوم –gpus=all را حذف کنید.
docker pull ollama/ollama
docker network create ollama-net
docker run -d –gpus=all -v ollama:/root/.ollama -v \ your_model_path:/home -p 11434:11434 –name ollama \ –network ollama-net ollama/ollama
تا اینجا سرور آماده شده است. این سرور پذیرای مدل هایی با فرمت GGUF است. این مدل ها را می توانید در سایت huggingface و اکانت thebloke پیدا کرده و دانلود کنید و در مسیری که home کانتینر mount کرده‌اید، قرار دهید.
سپس یک فایل به نام Modelfile در همان مسیر ساخته و داخل آن مدل مد نظر خود را مشخص کنید.
FROM ./Mistral-7B-fp16.gguf
PARAMETER temperature 0.4
SYSTEM "تو مدل هوش مصنوعی دال هستی و به فارسی صحبت میکنی."
TEMPLATE "[INS]{{ .Prompt }}[/INS]"
سپس با دستور زیر به داخل bash کانتینر رفته و با رفتن به مسیر home مدل را بسازید:
docker -it exec ollama bash
cd /home
ollama create your_model_name -f Modelfile
حالا برای اینکه یک رابط کاربری مناسب می توانید ازopen-webui استفاده کنید. با دستور زیر آن را دانلود و یک ایمیج از روی آن بسازید و سپس یک کانتینر از روی آن بالا بیاورید:
git clone https://github.com/open-webui/open-webui.git
cd open-webui
docker build -t openwebui .
docker run -d -p 80:8080 --network ollama-net -v openwebui:/app/backend/data --name myOpenWebUI --restart always openwebui
حال کافیست در مرورگر خود آدرس http://localhost را زده و بعد از ثبت نام کردن وارد پنل شود. در قسمت تنظیمات در گوشه بالا سمت راست شده و در بخش connection آدرس سرور را به صورت http://ollama:11434 تغییر داده و ذخیره کنید.
نهایتا از بالا صفحه مدل را انتخاب کنید.
حال می توانید با مدل زبانی استقرار یافته در سرور خود، به مکالمه بپردازید.
دیدگاه خود را ثبت کنید
تمایل دارید در گفتگو شرکت کنید؟نظری بدهید!