صُمّم لطلبات كثيرة على أجهزة كثيرة.
معظم أدوات تشغيل النماذج محليا مبنية حول جهاز واحد ومستخدم واحد. أما MirbadLLM فيبدأ من الطرف الآخر: عدة أجهزة تملكها، وعدة أشخاص ووكلاء يسألون في اللحظة نفسها.
ما الذي بُني MirbadLLM حوله
التزامن
وكلاء برمجة متوازيون في VS Code، وفريق صغير أو عائلة على عنوان واحد في الوقت نفسه؛ إذ تتوزع النماذج على الأجهزة، والنماذج التي تعمل على vLLM تخدم طلبات كثيرة معا.
النموذج المناسب لكل مهمة
يخدم كل جهاز النماذج التي تتسع له، فتحصل كل أداة على نموذج اختير لمهمتها، لا على ما يتسع له جهاز واحد.
آمن على الأجهزة المشتركة
تُفحص الذاكرة قبل كل تشغيل، لكل بطاقة على حدة، ويُرفض التشغيل الذي لا يتسع مع ذكر السبب.
مقيس على عتادك
اختبارات أداء عند طلب واحد و16 طلبا وأقصى عدد من الطلبات المتوازية، وأداة ضبط لا تغيّر شيئا حتى تضغط Apply.
جنبا إلى جنب
| المشروع | الغرض منه | أين يختلف MirbadLLM |
|---|---|---|
| Ollama | تشغيل النماذج على جهاز واحد ببساطة، عبر سطر الأوامر وواجهة محلية. | يخدم كل تثبيت لـ Ollama الجهازَ الذي يعمل عليه، أما MirbadLLM فيدير عدة أجهزة من مكان واحد خلف عنوان واحد، ويمكنه أن يعرض Ollama الموجود كخدمة إلى جانب نماذجه. |
| LM Studio | تطبيق مكتبي لتنزيل النماذج وتشغيلها ومحادثتها على جهاز واحد. | أجهزة تعمل دون واجهة، ونظرة على الأسطول كله، ومفاتيح API لكل شخص وأداة، ونسخ احتياطي مجدول. |
| GPUStack | إدارة عناقيد بطاقات الرسوميات لخدمة النماذج. | أقرب الجيران. يستهدف MirbadLLM عددا قليلا من الأجهزة المركونة في البيت والمكتب، مع فحص الذاكرة لكل بطاقة قبل كل تشغيل، وقياس الأداء والضبط، ونسخ احتياطي للإعداد كله. |
| exo | تقسيم نموذج واحد على عدة أجهزة لتشغيل نماذج أكبر من أي جهاز منفرد. | يضع MirbadLLM النماذج كاملة على الأجهزة التي تتسع لها، فيجيب كل جهاز عن طلباته بالتوازي. |
| LiteLLM | بوابة أمام واجهات نماذج كثيرة، محلية ومستضافة. | MirbadLLM ينزّل النماذج ويوزعها ويشغّلها ويراقبها، لا يكتفي بتوجيه الطلبات إليها، ويمكن أن يعمل الاثنان معا. |
متى تختار غيره
جهاز واحد وشخص واحد
Ollama أو LM Studio أبسط، ولا بأس في ذلك.
نموذج أكبر من أي جهاز تملكه
يقسم exo النموذج على عدة أجهزة، وهذا ما لا يفعله MirbadLLM.
واجهات مستضافة في الغالب
بوابة مثل LiteLLM أنسب.
بطاقات AMD أو أجهزة بلا بطاقة رسوميات
لا يدعمها MirbadLLM بعد.
لاحظت معلومة قديمة عن مشروع آخر؟ أخبرنا في نقاشات GitHub وسنصححها.