هل يعمل على جهازي؟

ماذا يستطيع جهازك القديم أن يشغّل؟

ذاكرة بطاقة الرسوميات، أو الذاكرة الموحّدة في الماك، هي التي تحدد حجم النموذج الذي يستطيع الجهاز تشغيله. اختر جهازك.

حتى نحو 14B
الذاكرة المتاحة للنموذج
12 إلى 16 GB على بطاقة الرسوميات
بيئة التشغيل
llama.cpp كعملية أصلية
ملاحظة
قواعد تقريبية لنماذج GGUF مضغوطة بدقة 4 بت مع سياق معتدل؛ فطول السياق ودرجة الضغط وعدد الطلبات المتوازية تغيّرها. ويقرأ الوكيل ترويسة كل ملف GGUF ويتحقق من المساحة الفعلية قبل كل تشغيل.
أضف جهازك

الجدول كاملا

الجهاز الذي قد تملكهالذاكرة المتاحة للنموذجحجم النموذج المريح
جهاز ألعاب أو حاسوب ألعاب محمول ببطاقة NVIDIA بذاكرة 8 GB8 GB7B إلى 8B
جهاز ألعاب ببطاقة ذاكرتها 12 إلى 16 GB12 إلى 16 GBحتى نحو 14B
جهاز ألعاب ببطاقة ذاكرتها 24 GB24 GBحتى نحو 32B
ماك أو ماك بوك بشريحة Apple Silicon وذاكرة 16 GBيتقاسمها مع macOS7B إلى 8B
ماك بشريحة Apple Silicon وذاكرة 32 GB أو أكثريتقاسمها مع macOS14B إلى 32B
DGX Spark أو محطة عمل كبيرة128 GB موحّدة، أو عدة بطاقاتنماذج كبيرة على vLLM

لماذا لا تحتاج إلى إجراء الحساب بنفسك

يمنح MirbadLLM كل نموذج ميزانية ذاكرة، وقبل التشغيل يقارنها الوكيل بالذاكرة الحرة في الجهاز بعد خصم احتياطي، لكل بطاقة على حدة في الأجهزة متعددة البطاقات، فيرفض التشغيل الذي لا يتسع ويذكر السبب. والبرامج الأخرى على الجهاز تغيّر الذاكرة الحرة، لذلك يتكرر الفحص في كل مرة.