كل ما يحتاجه أسطول صغير من أجهزتك.
MirbadLLM لوحة تحكم لعدد قليل من الأجهزة التي تملكها. هذا ما يقدمه، معروضا على الواجهة الحقيقية، وهي بالإنجليزية.
نظرة عامة مباشرة على كل جهاز
صفحة واحدة تُظهر ما الذي يعمل وأين، وسرعة توليد كل نموذج، واستخدام بطاقة الرسوميات في كل جهاز، والذاكرة المتبقية فيه. وإلى جانب ذلك عدّادات الأسطول ومستويات الخدمة والمساحة المتاحة لكل جهاز، ورسم مباشر للتوليد لكل نموذج.
نماذج من Hugging Face، تُفحص قبل تشغيلها
نزّل مستودعا كاملا أو اختر ملف GGUF واحدا؛ إذ ينزّله الوكيل على جهازه، ويقرأ ترويسة GGUF، ويقدّر الذاكرة التي يحتاجها النموذج. ولكل نموذج ميزانية ذاكرة، فإن لم يتسع، ولو على بطاقة واحدة من بطاقات الجهاز، رُفض التشغيل مع ذكر السبب.
قياس الأداء والضبط على عتادك نفسه
أحمال جاهزة (محادثة تفاعلية، ووكلاء وأدوات، وإنتاجية، ومستندات طويلة، وتضمينات) تقيس النموذج عند طلب واحد، و16 طلبا، وأقصى عدد من الطلبات المتوازية. وتبحث أداة الضبط في إعدادات vLLM مرحلة بعد مرحلة، وتعيد قياس المتقدمين قبل أن تسمّي الأفضل، ولا يتغير شيء حتى تضغط Apply.
وصول للأشخاص والأدوات
دخول إداري للواجهة وواجهة الإدارة، ومفاتيح API للعنوان ولمقاييس الأداء، ورموز Hugging Face محفوظة لا تُعرض بعد حفظها، وصفحة Connect فيها إعدادات جاهزة للنسخ لأشهر الأدوات، ومنها ملف إعداد لـ VS Code.
نسخ احتياطي واستعادة لكل شيء
تعريفات النماذج، والنماذج العاملة، وإعدادات الأجهزة، والخدمات المُدارة، والسجل، ومفاتيح API والرموز المحفوظة (مشفّرة بعبارة مرورك)، وفق جدول زمني إلى مجلد محلي أو مشاركة SMB أو NFS. وتعرض الاستعادة كل تغيير قبل تنفيذه، وتعيد تنزيل النماذج الناقصة.
إدارة الأسطول
أضف جهازا بأمر سطر واحد، ووافق عليه بعد مطابقة بصمة مفتاحه. وأوقف استقبال الطلبات على جهاز، أو جدّد مفاتيحه، أو ألغِ اعتماده، أو بدّل شهاداته، وادفع تحديثات موقّعة للوكلاء من الخادم الرئيسي. ويتصل الخادم الرئيسي بكل وكيل عبر TLS متبادل، ولا يلمس بنفسه بطاقة رسوميات ولا ملف نموذج.
الشاشات من أسطول تجريبي بنماذج وحركة بيانات محاكاة.
وأجزاء لا تنتبه إليها إلا حين تغيب
عنوان واحد متوافق مع OpenAI
يعرض /v1/models كل نموذج على كل جهاز، وتذهب طلبات المحادثة والإكمال والتضمينات، مع البث المباشر، إلى الجهاز الذي يخدم النموذج المذكور في الطلب.
ثلاث بيئات تشغيل وثلاثة أنظمة
vLLM داخل Docker على Linux، وllama.cpp كعملية أصلية على Windows وmacOS (Metal)، وMLX على Apple Silicon.
استعادة تحترم قرارك
تعود النماذج التي كانت تعمل بعد إعادة تشغيل جهاز أو الخادم الرئيسي، واحدا تلو الآخر لكل جهاز، أما النموذج الذي أوقفته فيبقى متوقفا.
التوزيع والنقل
يُثبَّت كل نموذج على جهاز، وعلى بطاقات رسوميات بعينها، ويمكن نقله بين الأجهزة، وتبدأ النماذج واحدا تلو الآخر في كل جهاز.
خدمات الجهاز
مساعد اختياري يعرض الخدمات المعتمدة ويديرها إلى جانب النماذج، مثل ComfyUI أو Ollama أو LM Studio، خلف قائمة منع مدمجة.
المقاييس وإمكانية الوصول
مقاييس Prometheus على /metrics، ووضعان فاتح وداكن مصممان وفق WCAG 2.2 AA.