برای استفاده از هوش مصنوعی، سرویس‌های مختلفی وجود دارند. یکی از سرویس‌های محبوب و رایگان، Ollama است که به کمک آن می‌توانید مدل‌های زبانی بزرگ را روی سیستم خود اجرا کنید. در ادامه یاد می‌گیرید چگونه این سرویس را نصب کرده و از طریق رابط‌کاربری‌های مختلف از آن استفاده کنید.


معرفی Ollama

اگر قصد دارید مدل‌های زبانی بزرگ (LLM) را روی سیستم خود اجرا کنید، یکی از راحت‌ترین روش‌ها استفاده از پلتفرم Ollama است. اولاما یک پلتفرم اوپن‌سورس است که به شما اجازه می‌دهد بدون نیاز به سرور‌های قوی یا دانش فنی، مدل‌های زبانی مختلف را به راحتی دانلود، نصب و استفاده کنید.

استفاده از اولاما رایگان است و شما بدون هیچ هزینه یا محدودیتی می‌توانید از مدل‌های زبانی مختلف استفاده کنید.

این پلتفرم امنیت بالایی دارد. اگر اطلاعات خصوصی یا حساسی دارید که نمی خواهید با دیگران به اشتراک بگذارید استفاده از این روش گزینه مناسبی است. چون بر خلاف سرویس‌هایی مثل چتGPT که اطلاعات شما به سرورهای آن ارسال می شوند، در اولاما مدل های زبانی مستقیما روی سیستم شما نصب شده و بدون نیاز به اینترنت اجرا می شوند. به این ترتیب اطمینان دارید که اطلاعات شما تحت هیچ شرایطی به سرورهای خارجی ارسال نخواهند شد.



گام اول: نصب اولاما

برای استفاده از مدل‌های زبانی، اول باید اولاما رو نصب کنید. به سایت ollama.com رفته و نسخه مناسب با سیستم عامل خود را دانلود و نصب کنید. (نصب آن آسان است و تنظیم خاصی ندارد)

بعد از نصب، آیکون برنامه به منوی start ویندوز اضافه می‌شود. روی آن کلیک کنید تا اجرا شود. بعد از کلیک صفحه زیر باز می شود:

حالا بعد از نصب اولاما باید مدل های زبانی را دانلود کنید.



گام دوم: دانلود مدل‌ها

برای دانلود مدل ها به لینک ollama.com/library بروید. در این صفحه می توانید فهرست همه مدل ها را مشاهده کنید. یکی از مدل ها را انتخاب کرده و روی آن کلیک کنید.

یکی از مدل ها (مثلا gemma3) را انتخاب کرده و به صفحه مخصوص آن بروید. در این صفحه ورژن های مختلف مدل در یک جدول مشخص شده. روی یکی از آنها (مثلا gemma3:4b) کلیک کنید. در صفحه باز شده از بالا سمت راست کامند آن را کپی کنید. کامند مدل gemma3:4b این است:

ollama run gemma3:4b

برای دانلود مدل باید کامند آن را در ترمینال وارد کنید. اگر از ویندوز استفاده می‌کنید، ابتدا CMD (Command Prompt) را باز کنید. برای این کار:

کلیدهای Win + R را فشار دهید، سپس عبارت cmd را تایپ کرده و Enter بزنید. یا در نوار جستجوی ویندوز، عبارت cmd را تایپ کنید و روی Command Prompt کلیک کنید. پس از باز شدن CMD، کامندی که کپی کردید را پیست کنید.

حالا اولاما شروع به دانلود مدل می کند.

بعد از تکمیل دانلود می توانید در همان ترمینال با آن چت کنید. چت کردن با مدل در این محیط پیچیده است و امکانات کمی دارد. به همین خاطر باید از رابط کاربری مناسب برای این کار استفاده کنیم. این محیط‌ها امکان دسترسی آسان‌تر به قابلیت‌های مدل را فراهم می‌کنند و به کاربران اجازه می‌دهند بدون نیاز به دستورات پیچیده، از توانایی‌های مدل به بهترین شکل استفاده کنند.

خود اولاما اخیرا امکان چت با مدل را در نرم افزار خود فراهم کرده. (البته تا جایی که من تست کردم کار نکرد و اصلا مدل های دانلود شده را شناسایی نمی کند)

پس باید در گام بعدی رابط کاربری مناسب را دانلود و استفاده کنیم.



گام سوم: استفاده از رابط کاربری

برای استفاده از مدل های لوکال، رابط کاربری های مختلفی طراحی شده. در صفحه گیت هاب اولاما فهرست کاملی از این محیط ها و پلاگین ها وجود دارد.

در اینجا دو مورد را معرفی میکنم.


اکستنشن Page Assist

راحت ترین و پر امکانات ترین رابط کاربری، اکستنشن Page Assist است که روی مروگر شما نصب می شود. یک رابط کاربری ساده دارد که بدون مشکل می توانید در آن چت کنید.

بخشی از امکانات این افزونه:

  • رابط کاربری فارسی
  • امکان جستجو در وب
  • چت کردن بر اساس یک صفحه وب مشخص (حالت side panel)
  • مدیریت مدل‌ها :دانلود، آپدیت و حذف مدل‌
  • مدیریت دانش :جستجو در دیتای شما با رویکرد RAG
  • مدیریت پرامپت :ساخت پرامپت از پیش تعریف شده
  • ذخیره تاریخچه چت، امکان حذف سابقه
  • اشتراک گذاری چت به صورت عمومی
  • ایمپورت و اکسپورت گرفتن از داده‌ها (سابقه چت، پرامپت‌ها و پایگاه دانش)

🛠️ نصب و استفاده

  1. برای نصب به صفحه گیت‌هاب Page Assist مراجعه کنید.
  2. از بخش Installation بر اساس مروگر خود روی فایل نصبی افزونه کلیک کنید.
  3. افزونه را نصب کرده و از بخش extensions مرورگر اجرا کنید.

استفاده از آن بسیار ساده است. از نوار بالا میتوانید مدل خود را انتخاب کنید. در باکس پایین متن خود را بنویسید و چت کنید.

آموزش و جزئیات بیشتر در مورد این افزونه را می توانید در این ویدئو مشاهده کنید:

This Chrome Extension Surprised Me



رابط Open WebUI

با Open WebUI یک رابط کاربری مدرن و مینیمال شبیه ChatGPT خواهید داشت. به راحتی می توانید مدل های مختلف را انتخاب و چت کنید.

مشابه افزونه قبلی از امکانات مختلفی پشتیبانی می کند: مدیریت دانش(RAG)، مدیریت مدل‌ها، مدیریت پرامپت‌ها، ذخیره تاریخچه چت، رابط کاربری فارسی و غیره.

🛠️ نصب و استفاده

برای نصب به صفحه گیت‌هاب Open WebUI مراجعه کنید. از سه روش می توانید این رابط کاربری را نصب کنید: داکر، پایتون و نرم افزار pinokio. نصب با پینوکیو نیاز به دانش فنی و پیش نیاز ندارد و به راحتی می توانید از آن استفاده کنید اما استفاده از پایتون و داکر کمی پیچیده تر است.

پینوکیو

  1. نرم افزار pinokio را نصب کنید.
  2. از بخش جستجو Open WebUI را سرچ کنید.
  3. روی دکمه Install بزنید تا نصب آن انجام شود.

پایتون

اگر قصد دارید از پایتون برای نصب این رابط کاربری استفاده کنید حتما باید از نسخه 3.11 استفاده کنید. اگر فایل اینستالر این نسخه را پیدا نکردید میتوانید از آرشیو آن را دانلود کنید.

  • پایتون 3.11 را دانلود و نصب کنید.
  • دستور pip install open-webui را وارد کنید.
  • بعد از تکمیل نصب با دستور open-webui serve آن را اجرا کنید.



نکات پایانی

یک. تنظیمات اولاما و مدل ها

هرچند اولاما در آپدیت جدید خود یک محیط را برای چت با مدل فراهم کرده اما هنوز تنظیمات و امکانات زیادی ندارد. همچنان برای انجام تنظیمات باید از کامند ها در cmd استفاده کنید. (یا اینکه از همان رابط کاربری هایی که نصب کردید اقدام کنید.) مثلا برای مشاهده مدل‌های نصب شده می توانید از دستور ollama list استفاده کنید.

برای دیدن مدل در حال اجرا از دستور ollama ps.

مدل های دانلود شده در مسیر C:\Users\%username%\.ollama\models قرار می‌گیرند. برای حذف مدل‌های نصب شده به جای حذف آنها از این پوشه بهتر است از دستور ollama rm model-name استفاده کنید.

موارد بیشتر را می توانید در صفحه گیت هاب یا سوالات متداول مطالعه کنید.


دو. مدل های زبانی در ابسیدین

اگر از نرم افزار ابسیدین استفاده می‌کنید می توانید از این مدل های زبانی در نرم افزار استفاده کنید. برای اینکار می توانید از پلاگین های مختلف مثل Local GPT و Text Generator و Copilot استفاده کنید.

در یادداشت استفاده از هوش مصنوعی در ابسیدین این پلاگین‌ها را به طور مفصل معرفی و بررسی کردم.


سه. آیا مدل‌ها از زبان فارسی پشتیبانی می کنند؟

بله، بعضی از مدل‌ها از زبان فارسی پشتیبانی می‌کنند و اگر پرامپت فارسی بنویسید پاسخ شما را به زبان فارسی می‌نویسند.

یک مدل هم هست به اسم dorna-llama3 که توسط «مرکز تحقیقات هوش مصنوعی پارت» روی داده های فارسی آموزش دیده.(+) البته توقع نداشته باشید که این مدل بهتر از مدل های دیگر باشد. در حال حاضر مدل llama3.1 عملکرد بسیار بهتری از درنا دارد که روی نسخه 3 آموزش دیده.1

اگر شما مدل‌های دیگری را تست کردید و نتیجه بهتری گرفتید می‌توانید در کامنت‌های همین صفحه به اشتراک بگذارید.

Footnotes

  1. . محمد علی صدرایی توضیح صادقانه ای در مورد این مدل ها داده: 00:50:52