Colibrì: شغّل موديلات AI بـ 744 مليار Parameter على لابتوبك (28 ألف نجمة)

تخيل تشغّل موديل 744 مليار parameter (GLM-5.2) على لابتوب فيه 25 جيجا رام. أو موديل 2.8 تريليون parameter (Kimi K3) على PC عادي. مش cloud API، ولا اشتراك — على جهازك، محلياً. ده اللي بيعمله Colibrì: محرك inference مكتوب بـ C خالص، بدون أي dependency، بيعالج التخزين (VRAM/RAM/NVMe) كطبقة واحدة ذكية.

الريبو وصل 28.5 ألف نجمة على GitHub و3.1 ألف fork، ومرخّص Apache 2.0.

الفكرة الأساسية: JIT compilation… بس للأوزان

موديلات MoE (Mixture of Experts) الحديثة زي GLM-5.2 عندها 744 مليار parameter، بس عند توليد كل token، بيتفعّل بس ~40 مليار منهم — ومن دول، بس ~11 جيجا بيتغيّر من token لتاني (الـ routed experts). يعني الموديل مش محتاج يتحمّل كامل في الرام السريعة — محتاج يترتّب بذكاء.

Colibrì بيعمل ده بتقسيم الموديل على 3 طبقات تخزين:

• Dense part (attention, shared experts, embeddings — 17B params) → RAM دايماً بـ int4 (~9.9 جيجا)
• 19,456 routed expert (75 طبقة × 256 + MTP head) → على القرص (~370 جيجا)، بتيجي مع الطلب
• Learning cache بيتعلّم أي experts بتُستخدم أكتر مع workload بتاعك ويحطّها في VRAM/RAM تلقائياً

الفكرة قريبة من JIT compiler: بدل ما يحمّل البرنامج كله، بيراقب اللي فعلاً بيشتغل ويحسّنه. Colibrì بيراقب اللي الـ router بيطلبه، ويستخدم router-lookahead بيتنبّأ بالطبقة القادمة قبل ما توصل — الـ routing قابل للتنبؤ بدقة 71.6% طبقة واحدة قدام. النتيجة: القرص السريع كافي.

8 عائلات موديلات مدعومة

• GLM-5.2/5.3 — 744 مليار / 40 مليار active — الموديل المرجعي
• GLM-5.3-Flash — 321 مليار / 40 مليار — مع دعم الرؤية (vision)
• Inkling (Thinking Machines) — 975 مليار / 41 مليار
• Kimi K3 (Moonshot) — 2.8 تريليون / 104 مليار — أضخم موديل مفتوح متاح
• DeepSeek V4 Flash — 284 مليار / 13 مليار
• Qwen3.8-Flash-Next (Alibaba) — 125 مليار + 51 مليار n-gram / 6 مليار
• Qwen3.6 (Alibaba) — 35 مليار / 3 مليار — يشتغل بـ 20 جيجا رام فقط
• OLMoE (AI2) — 7 مليار / 1 مليار — الأصغر، يشتغل بـ 8 جيجا رام

متطلبات الأجهزة الفعلية

مفيش موديل من دول محتاج GPU (GPU بيسرّع بس، مش شرط). المتطلبات الحقيقية:

• OLMoE: 8 جيجا رام، 7 جيجا قرص
• Qwen3.6: 24 جيجا رام، 20 جيجا قرص
• GLM-5.2/5.3: 16 جيجا رام (24 مريح)، 372 جيجا قرص
• GLM-5.3-Flash: 25 جيجا رام، 195 جيجا قرص (مع vision)
• DeepSeek V4 Flash: 16 جيجا رام، 167 جيجا قرص
• Inkling: 25-120 جيجا رام، 469 جيجا قرص
• Kimi K3: 32+ جيجا رام، 1.6 تيرا قرص

السرعة بتعتمد على قرصك، مش على GPU: على SSD سريع مع cache warm، بتحصل على بضع tokens في الثانية. على HDD قديم، جزء من token في الثانية. لو حطيت SSD ثاني، Colibrì بيستخدمهم مع بعض ويزيد bandwidth بـ 33%.

المميزات التقنية اللي بتفرقه

• Native MXFP4 for Kimi K3 — الموديل الأصلي بيتحمّل من HuggingFace مباشرة بدون conversion
• MLA compressed KV state — 576 float/token بدل 32,768 (57× أصغر)، والمحادثات بتتحفظ بين restarts
• Speculative decoding — Multi-Token Prediction (MTP) بيدي 2.2-2.8 token في كل forward pass
• Grammar-forced drafts — لو المخرجات JSON، بتاخد قبول مجاني تقريباً
• O_DIRECT I/O — بيتخطى page cache على NVMe (+34% decode أُثبت على Blackwell)
• Web dashboard حي — بيوريك كل expert بيتفعّل real-time مع “brain visualization”
• OpenAI-compatible API — يشتغل مع أي client موجود
• Local cluster mode — تقسم الشغل على أجهزة متعددة
• Multi-backend GPU — CUDA, Metal (Apple Silicon), Vulkan (كل الـ GPUs بما فيها AMD القديمة زي RX 580)

التثبيت

الطريقة الأسهل (نسخة جاهزة):

mkdir colibri
tar xzf colibri-v1.8.0-linux-x86_64.tar.gz -C colibri
cd colibri
python3 coli info

أو Build من المصدر:

git clone https://github.com/JustVugg/colibri
cd colibri/c
./setup.sh

محتاج بس Python 3 (للـ launcher) و gcc (للـ build). المحرك نفسه C خالص بدون dependencies.

التشغيل

# Chat interactive في terminal
COLI_MODEL=/nvme/glm52_i4 ./coli chat

# API + Web dashboard (يفتح المتصفح)
./coli web --model /nvme/glm52_i4

# API فقط (headless server)
./coli serve --model /nvme/glm52_i4

# فحص الجهاز والتخطيط قبل التشغيل
./coli doctor
./coli plan
./coli tune

الأداء المُقاس

• 6 × RTX 5090 (full residency): 5.8-6.8 tok/s decode، TTFT ~13 ثانية
• 128 جيجا CPU-only desktop: ~1.8 tok/s warm
• RTX 5070 Ti laptop: 1.07 tok/s عبر GPU-resident pipeline
• 25 جيجا dev box (الحد الأدنى): 0.05-0.1 tok/s cold — بطيء لكن يشتغل صح

لمين ده مفيد؟

• Developers بيبنوا منتجات AI ومش عايزين يعتمدوا على APIs مدفوعة
• Researchers عايزين يجرّبوا على frontier models بدون تكاليف cloud
• شركات عندها بيانات حساسة (رعاية صحية، مالية، حكومي) ومحتاجة كل حاجة on-premise
• وكالات AI عربية — التكلفة الشهرية لتشغيل frontier model في السحابة ممكن توصل آلاف الدولارات؛ Colibrì يخليك تديل نفس القدرة بجهاز مرة واحدة
• Content creators بيدرّبوا موديلات مخصصة أو fine-tuned
• Educators بيعلّموا AI للطلاب ومحتاجين موديلات كبيرة يجربوها

ليه ده مهم؟ (وليه ده مهم للسوق العربي بالتحديد)

Colibrì بيحل واحدة من أكبر مشاكل الـ AI في المنطقة العربية: الوصول للـ frontier models بدون البنية التحتية الغالية. الشركات في مصر، السعودية، الإمارات، والبلدان العربية دفعت ملايين على GPUs متطورة (H100, A100) عشان تشغّل موديلات كبيرة — Colibrì بيقول: مش لازم.

موديل زي GLM-5.2 (744B parameter) بيتنافس مع GPT-4 و Claude. تقدر تشغّله على PC عادي بـ 25 جيجا رام و SSD كبير. البطء المؤقت يستحق: بياناتك ما تطلعش من الجهاز، وتكلفة التشغيل صفر بعد شراء الـ hardware.

الفلسفة العلمية للمشروع محترمة برضه — كل ادعاء بيحتاج proof بـ end-to-end measurement، مفيش claims فارغة، ونتائج فشلية بتتنشر مع نتائج نجاحية. ده تلاقيه في أكاديميا الجادة، مش في hype AI العادي.