مدلهای محلی (مثل Llama و Qwen) روی سیستم خودتان اجرا میشوند؛ بدون اینترنت و بدون ارسال داده بیرون. اگر تازه با این موضوع آشنا شدهاید، این صفحه دقیقاً برای شما نوشته شده است؛ بدون فرضِ دانش قبلی. برای کار با دادههای حساس، قطعیهای اینترنت و هزینهٔ اشتراک، اجرای مدل روی لپتاپ یا سرور شخصی راهحل جدی است.
چرا مبتدیها گیج میشوند؟
چون بیشتر راهنماها برای کسانی نوشته شده که از قبل نیمی از مسیر را رفتهاند. ما در این صفحه از همان نقطهٔ صفر شروع میکنیم: مدلهای محلی (مثل Llama و Qwen) روی سیستم خودتان اجرا میشوند؛ بدون اینترنت و بدون ارسال داده بیرون.
پنج قدم اولِ شما
- مسئله را در یک جمله برای خودتان تعریف کنید
- از سادهترین منبع شروع کنید: Ollama
- با Ollana یک مدل سبک (چند گیگابایتی) دانلود و با یک دستور اجرا کنید؛ رابط چت محلی هم دارد.
- سختافزار مهم است: ۱۶ گیگ رم برای مدلهای ۷ تا ۸ میلیارد پارامتری حداقل راحتی است.
- برای فارسی، مدلهای چندزبانه مثل Qwen معمولاً بهتر از مدلهای صرفاً انگلیسیمحور عمل میکنند.
واژههایی که باید بشناسید
- مدلهای زبانی محلی؛ در یک جمله: مدلهای محلی (مثل Llama و Qwen) روی سیستم خودتان اجرا میشوند
- روی لپتاپ معمولی اجرا میشود — بله مدلهای کوچک (۳ تا ۸ میلیارد) روی لپتاپهای متوسط قابل استفادهاند
- فارسی را خوب میفهمند — مدلهای چندزبانه خوب عمل میکنند اما به سطح بهترین مدلهای ابری نمیرسند.
سه نصیحت طلایی برای شروع
- کیفیت مدلهای محلی از ابر کمتر است؛ برای کار حساس، ترکیب محلی + ابر با تدوین انسانی استفاده کنید.
- برای تیمها، یک سرور مشترک با مدل محلی، حریم خصوصی و هزینه را همزمان حل میکند.
چیزهایی که لازم نیست نگرانشان باشید
مبتدیها معمولاً این نگرانیها را دارند و وقتشان را میگیرد:
- نگرانی «انتظار کیفیت مدلهای غول از سختافزار معمولی» — معمولاً درست نیست و فقط شروع را عقب میاندازد
- نگرانی «دانلود مدلها از منابع غیررسمی که ممکن است دستکاری شده باشند» — معمولاً درست نیست و فقط شروع را عقب میاندازد
- نگرانی «بیتوجهی به دمای مناسب مدل که خروجی را خلاقانه یا بیربط میکند» — معمولاً درست نیست و فقط شروع را عقب میاندازد
منابع سادهٔ شروع
| منبع / ابزار | چه استفادهای؟ |
|---|---|
| Ollama | سادهترین راه اجرای مدل محلی |
| LM Studio | رابط گرافیکی برای تست مدلها |
| Open WebUI | چتبات خصوصی شبیه ChatGPT روی سیستم خودتان |
| OpenRouter | مقایسه و دسترسی به دهها مدل |
پرسشهای خودِ مبتدیها
روی لپتاپ معمولی اجرا میشود؟
بله مدلهای کوچک (۳ تا ۸ میلیارد) روی لپتاپهای متوسط قابل استفادهاند، هرچند کندتر.
فارسی را خوب میفهمند؟
مدلهای چندزبانه خوب عمل میکنند اما به سطح بهترین مدلهای ابری نمیرسند.
هزینهاش چقدر است؟
نرمافزارها رایگاناند؛ هزینهٔ واقعی سختافزار و برق است.
جمعبندی
مدلهای زبانی محلی را وقتی درست به کار بگیرید، هم زمان میدهد و هم کیفیت. مسیر ساده بود: شروع کنید، اندازه بگیرید و اصلاح کنید. اگر همین امروز دو سه مورد از این فهرست را اجرا کنید، تفاوت را در هفتههای بعد خواهید دید.
دیدگاهها
۰ دیدگاههنوز دیدگاهی ثبت نشده؛ اولین نفر باشید.