ابدأ الآن

جرّبه على حاسوب محمول في دقائق، ثم شغّل الخادم الرئيسي على الجهاز الذي يبقى يعمل، وأضف أجهزتك الأخرى واحدا تلو الآخر. واجهة البرنامج بالإنجليزية، لذلك تظهر أسماء الصفحات والأزرار هنا كما تراها على الشاشة.

جرّبه على حاسوب محمول

يعمل أسطول تجريبي فيه خادم رئيسي ووكيلان على جهاز واحد، بنماذج محاكاة بدل النماذج الحقيقية؛ فلا يلمس Docker ولا بطاقة الرسوميات، ويستمع كل شيء على العنوان المحلي فقط.

تحتاج إلى ‏.NET 10 SDK، وإلى PowerShell 7 أو Bash.

git clone https://github.com/samykabu/MirbadLLM.git
cd MirbadLLM
pwsh tools/dev-multinode/start.ps1 -Reset   # Windows, or PowerShell 7 anywhere
tools/dev-multinode/start.sh --reset        # Linux and macOS

افتح http://127.0.0.1:5080/. يبني السكربت كل شيء، ويسجّل جهازين تجريبيين، ويضيف نموذجا على كل منهما، ثم يرسل طلبات محادثة عبر العنوان، فتمتلئ لوحة النظرة العامة بأرقام مباشرة.

شغّل الخادم الرئيسي

اختر الجهاز الذي يبقى يعمل؛ فعليه يعمل الخادم الرئيسي مع وكيل الجهاز نفسه، في حاويتين. ويصلح لذلك أي جهاز Linux فيه بطاقة NVIDIA، من جهاز ألعاب قديم إلى DGX Spark.

تحتاج إلى Docker Engine مع NVIDIA Container Toolkit، وصورة vLLM يستطيع الجهاز تشغيلها.

git clone https://github.com/samykabu/MirbadLLM.git && cd MirbadLLM
sudo install -d -o 1654 -g 1654 /srv/mirbadllm/data /srv/mirbadllm/backups
sudo install -d /srv/mirbadllm/models /srv/mirbadllm/cache
cp deploy/.env.example deploy/.env
# set DOCKER_GID, MIRBADLLM_VLLM_IMAGE and MIRBADLLM_ADMIN_PASSWORD in deploy/.env
docker compose -f deploy/compose.multinode.yaml --env-file deploy/.env up -d --build

افتح http://<host>:8080/، وسجّل الدخول، ثم أضف نموذجا من صفحة Models.

ملاحظة

يعامل ملف compose الجهازَ كأنه مخزن ذاكرة موحّد، كما في DGX Spark. أما في جهاز فيه بطاقات NVIDIA منفصلة، فالأفضل أن تضمّه كجهاز عبر مثبّت وكيل Linux، حتى تُفحص الذاكرة لكل بطاقة على حدة. ويشرح دليل الإعداد الحالتين.

أضف أجهزتك

1. افتح في الخادم الرئيسي Nodes › Add node وانسخ أمر السطر الواحد الخاص بـ Windows أو Linux أو macOS.
2. شغّله على جهاز الألعاب أو الحاسوب المحمول أو الماك، فيثبّت الوكيل كخدمة ويسجّله.
3. عُد إلى المتصفح، وطابِق بصمة مفتاح الجهاز، ثم وافق عليه.

ومن بعدها تظهر نماذج هذا الجهاز على العنوان نفسه مع بقية النماذج.

الجهاز	يحتاج إلى	بيئة التشغيل
حاسوب Windows 11	بطاقة NVIDIA	llama.cpp كعملية أصلية
حاسوب Linux	بطاقة NVIDIA و Docker	vLLM داخل Docker
ماك	Apple Silicon	llama.cpp مع Metal، أو MLX

استدعِ نموذجا

curl http://<host>:8080/v1/chat/completions \
  -H "Authorization: Bearer $MIRBADLLM_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{"model":"<served-name>","messages":[{"role":"user","content":"Hello"}],"max_tokens":128}'

وتعمل أي مكتبة OpenAI بالطريقة نفسها: اجعل عنوانها الأساسي http://<host>:8080/v1.

إلى أن يُنشأ أول مفتاح API يبقى /v1 مفتوحا، وتنبّهك الواجهة إلى ذلك في رأس الصفحة. أنشئ مفتاحا من صفحة Access، أو اضبط MIRBADLLM_REQUIRE_API_KEY=true لطلب المفتاح من البداية.