هل يعمل على جهازي؟
ماذا يستطيع جهازك القديم أن يشغّل؟
ذاكرة بطاقة الرسوميات، أو الذاكرة الموحّدة في الماك، هي التي تحدد حجم النموذج الذي يستطيع الجهاز تشغيله. اختر جهازك.
حتى نحو 14B
- الذاكرة المتاحة للنموذج
- 12 إلى 16 GB على بطاقة الرسوميات
- بيئة التشغيل
- llama.cpp كعملية أصلية
- ملاحظة
- قواعد تقريبية لنماذج GGUF مضغوطة بدقة 4 بت مع سياق معتدل؛ فطول السياق ودرجة الضغط وعدد الطلبات المتوازية تغيّرها. ويقرأ الوكيل ترويسة كل ملف GGUF ويتحقق من المساحة الفعلية قبل كل تشغيل.
الجدول كاملا
| الجهاز الذي قد تملكه | الذاكرة المتاحة للنموذج | حجم النموذج المريح |
|---|---|---|
| جهاز ألعاب أو حاسوب ألعاب محمول ببطاقة NVIDIA بذاكرة 8 GB | 8 GB | 7B إلى 8B |
| جهاز ألعاب ببطاقة ذاكرتها 12 إلى 16 GB | 12 إلى 16 GB | حتى نحو 14B |
| جهاز ألعاب ببطاقة ذاكرتها 24 GB | 24 GB | حتى نحو 32B |
| ماك أو ماك بوك بشريحة Apple Silicon وذاكرة 16 GB | يتقاسمها مع macOS | 7B إلى 8B |
| ماك بشريحة Apple Silicon وذاكرة 32 GB أو أكثر | يتقاسمها مع macOS | 14B إلى 32B |
| DGX Spark أو محطة عمل كبيرة | 128 GB موحّدة، أو عدة بطاقات | نماذج كبيرة على vLLM |
لماذا لا تحتاج إلى إجراء الحساب بنفسك
يمنح MirbadLLM كل نموذج ميزانية ذاكرة، وقبل التشغيل يقارنها الوكيل بالذاكرة الحرة في الجهاز بعد خصم احتياطي، لكل بطاقة على حدة في الأجهزة متعددة البطاقات، فيرفض التشغيل الذي لا يتسع ويذكر السبب. والبرامج الأخرى على الجهاز تغيّر الذاكرة الحرة، لذلك يتكرر الفحص في كل مرة.