حالات الاستخدام

أسطول واحد، وأشخاص كثيرون، في الوقت نفسه.

تظهر قيمة MirbadLLM حين يحتاج أكثر من طرف إلى نموذج في اللحظة نفسها. وهذه أربع صور لذلك.

وكلاء برمجة متوازيون في VS Code

تشغّل ثلاثة وكلاء معا: واحد يعيد هيكلة الشيفرة، وثانٍ يكتب الاختبارات، وثالث يراجع. وعلى خادم بمقعد واحد يتناوبون الدور، فيقف كل منهم منتظرا بينما يفكر الآخران.

ما الذي تجهّزه
  • نموذج برمجة على الجهاز الذي فيه أكبر ذاكرة رسوميات، وعلى vLLM حيث أمكن
  • نموذج أصغر وأسرع على جهاز ثانٍ للتعديلات والإكمال السريع
  • إعدادات صفحة Connect ملصقة في Cline أو Roo Code أو Continue
ما الذي تحصل عليه
  • طلبات الوكلاء الثلاثة تُخدم في الوقت نفسه
  • يختار كل وكيل النموذج باسمه دون أن يحتاج إلى معرفة الجهاز الذي أجاب
  • يُظهر اختبار الأداء كيف يصمد نموذج البرمجة عند طلب واحد و16 طلبا وأقصى عدد من الطلبات المتوازية

عنوان واحد لفريق صغير

أربعة مطورين يتقاسمون عددا قليلا من الأجهزة؛ يريد كل منهم مفتاحه الخاص، ولا يريد أحد إدارة الخوادم، ولا بد أن يعرف أحدهم ما الذي يعمل.

ما الذي تجهّزه
  • مفتاح API لكل شخص ولكل أداة
  • نماذج موزعة على الأجهزة التي تتسع لها، تُفحص قبل كل تشغيل
  • نسخ احتياطي مجدول للنماذج والإعدادات والمفاتيح إلى مشاركة شبكية
ما الذي تحصل عليه
  • عنوان أساسي واحد للفريق كله
  • نظرة عامة مباشرة على ما يعمل وأين، وعلى الذاكرة المتبقية في كل جهاز
  • مفاتيح تمنحها وتسحبها دون أن تمسّ إعداد أحد

العائلة كلها، في الوقت نفسه

مساعدة في الواجبات عبر تطبيق محادثة، وأحد الوالدين يصوغ رسالة، ومراهق يجرّب سكربتا. يسأل الجميع في اللحظة نفسها، على أجهزة موجودة أصلا في البيت.

ما الذي تجهّزه
  • نموذج محادثة لطيف على الماك الذي ينام كل مساء
  • نموذج أكبر على جهاز الألعاب القديم للأسئلة الأصعب
  • أي تطبيق محادثة يتحدث بواجهة OpenAI، موجّه إلى عنوان واحد
ما الذي تحصل عليه
  • إجابات لا تقف في طابور واحد
  • لا يخرج شيء من البيت؛ فالطلبات تذهب إلى أجهزتك أنت
  • نماذج تعود من تلقاء نفسها بعد إعادة التشغيل، وتبقى متوقفة حين توقفها

مقارنة النماذج على عتادك نفسه

صدر نموذج جديد، ويقول الجميع إنه أسرع. فهل هو كذلك على بطاقتك، وبطول السياق الذي تستخدمه، ومع حمل عملك؟

ما الذي تجهّزه
  • النموذجان جنبا إلى جنب، على الجهاز نفسه أو على جهازين
  • الحمل الجاهز الذي يشبه استخدامك: محادثة، أو وكلاء وأدوات، أو مستندات طويلة، أو تضمينات
  • أداة الضبط، لتبحث في إعدادات vLLM للنموذج الذي ستحتفظ به
ما الذي تحصل عليه
  • أرقام مقيسة من أجهزتك أنت، محفوظة لكل نموذج
  • فائز تعيد أداة الضبط قياسه قبل أن تسمّيه
  • لا تغيير حتى تضغط Apply
ابدأ الآنشاهد المقارنة