الأسئلة التي يطرحها الناس أولا

نعم. MirbadLLM مفتوح المصدر برخصة MIT، وليست له خطة مدفوعة ولا نسخة مستضافة.

حاسوب فيه بطاقة NVIDIA يعمل بـ Windows 11 ‏(llama.cpp) أو Linux ‏(vLLM داخل Docker)، وجهاز ماك بشريحة Apple Silicon ‏(llama.cpp مع Metal، أو MLX). ولا تُدعم بعد بطاقات AMD ولا الأجهزة التي لا تحتوي على بطاقة رسوميات.

ويحتاج الخادم الرئيسي إلى جهاز يبقى يعمل، ويصلح لذلك أي جهاز Linux فيه بطاقة NVIDIA، من جهاز ألعاب قديم إلى DGX Spark.

نعم، ولهذا صُمّم أصلا. امنح كل شخص وكل أداة مفتاح API خاصا به. وتتوزع النماذج على أجهزتك، والنماذج التي تعمل على vLLM تخدم طلبات كثيرة معا، فلا تنتظر وكلاء البرمجة المتوازية، ولا الفريق الصغير، ولا العائلة، بعضهم بعضا.

كل ما يتحدث بواجهة OpenAI: وكلاء البرمجة مثل Cline وRoo Code وContinue، وتطبيقات المحادثة، ومكتبات OpenAI. وفي صفحة Connect إعدادات جاهزة للنسخ، ومنها ملف إعداد لـ VS Code.

من تطبيقاتك إلى الخادم الرئيسي ثم إلى أجهزتك أنت. فـ MirbadLLM يُستضاف ذاتيا، وليس خدمة سحابية، وتُنزَّل النماذج من Hugging Face حين تضيفها.

صُمّم للشبكة المحلية، ويستمع افتراضيا عبر HTTP العادي على المنفذ 8080. وللوصول إليه من الخارج ضع أمامه وكيلا عكسيا (reverse proxy) يدعم TLS، واشترط مفتاح API في كل طلب.

لكل نموذج ميزانية ذاكرة، وقبل التشغيل يقارنها الوكيل بالذاكرة الحرة في الجهاز بعد خصم احتياطي، لكل بطاقة على حدة في الأجهزة متعددة البطاقات. فإن لم يتسع النموذج رُفض التشغيل وعرفت السبب، بدل أن تنفد ذاكرة الجهاز في منتصف الطريق.

تعود النماذج التي كانت تعمل من تلقاء نفسها، واحدا تلو الآخر في كل جهاز، أما النموذج الذي أوقفته فيبقى متوقفا.

يدفع الخادم الرئيسي تحديثات موقّعة إلى كل جهاز، وتتحدث الوكلاء على Windows وLinux وmacOS في مكانها.

تعريفات النماذج، والنماذج العاملة، وإعدادات الأجهزة، والخدمات المُدارة، والسجل، ومفاتيح API والرموز المحفوظة، وتُشفَّر المفاتيح والرموز بعبارة مرورك. ويمكن جدولة النسخ إلى مجلد محلي أو مشاركة SMB أو NFS.

هو مأخوذ من الكلمة العربية «مِرْبَد»: المكان الذي تُجمع فيه الإبل وتُحبس. وMirbadLLM يفعل الشيء نفسه مع النماذج المتفرقة على أجهزتك.