مدل زبانی بزرگ

امروزه مدل‌های زبانی بزرگLarge Language models(LLM) ها که شاید بیشتر بواسطه ChatGPT و Gemini شناخته شده باشند، توانسته‌اند بسیاری از وظایف مربوط به پردازش زبان طبیعی مثل ترجمه، خلاصه سازی، درک زبان و … را با کیفیت مناسبی انجام دهند.

آموزش و ایجاد این مدل‌ها نیاز به منابع سخت افزاری زیاد و به طور خاص، پردازشگر گرافیکی قدرتمند و گرانقیمت دارد. اما خوشبختانه مدل‌های متن باز(open source) چند زبانه‌ای که اخیرا منتشر شده، از کیفیت خوبی روی زبان فارسی برخوردار است. از جمله این مدل‌ها می‌توان به مدل Llama3 و C4ai اشاره کرد.

اگر می خواهید یکی از این مدل‌ها را برای استفاده شخصی یا سازمانی خود استفاده کنید و با رابط کاربری شبیه محیط Chat GPT از آن استفاده کنید، با این مقاله از دکتر مصطفی امیری، مدیر هوش مصنوعی دال همراه باشید.

آموزش استقرار مدل زبانی بزرگ در سرور شخصی

ابتدا لازم است که روی سیستم خود Docker را نصب کرده باشید. سپس ایمیج ollama را با دستور زیر دریافت و اجرا کنید. اگر پردازنده گرافیکی مناسب ندارید در دستور دوم –gpus=all را حذف کنید.

docker pull ollama/ollama

docker network create ollama-net

docker run -d –gpus=all -v ollama:/root/.ollama -v \ your_model_path:/home -p 11434:11434 –name ollama \ –network ollama-net ollama/ollama

تا اینجا سرور آماده شده است. این سرور پذیرای مدل هایی با فرمت GGUF است. این مدل ها را می توانید در سایت huggingface و اکانت thebloke پیدا کرده و دانلود کنید و در مسیری که home کانتینر mount کرده‌اید، قرار دهید.

سپس یک فایل به نام Modelfile در همان مسیر ساخته و داخل آن مدل مد نظر خود را مشخص کنید.

FROM ./Mistral-7B-fp16.gguf

PARAMETER temperature 0.4

SYSTEM &quotتو مدل هوش مصنوعی دال هستی و به فارسی صحبت میکنی.&quot

TEMPLATE &quot[INS]{{ .Prompt }}[/INS]&quot

سپس با دستور زیر به داخل bash کانتینر رفته و با رفتن به مسیر home مدل را بسازید:

docker -it exec ollama bash

cd /home

ollama create your_model_name -f Modelfile

حالا برای اینکه یک رابط کاربری مناسب می توانید ازopen-webui استفاده کنید. با دستور زیر آن را دانلود و یک ایمیج از روی آن بسازید و سپس یک کانتینر از روی آن بالا بیاورید:

git clone https://github.com/open-webui/open-webui.git

cd open-webui

docker build -t openwebui .

docker run -d -p 80:8080 --network ollama-net -v openwebui:/app/backend/data --name myOpenWebUI --restart always openwebui

حال کافیست در مرورگر خود آدرس http://localhost را زده و بعد از ثبت نام کردن وارد پنل شود. در قسمت تنظیمات در گوشه بالا سمت راست شده و در بخش connection آدرس سرور را به صورت http://ollama:11434 تغییر داده و ذخیره کنید.