FreeToken: شغّل DeepSeek V4 وGLM 5.2 على RTX 4090 بسرعة Datacenter

🔗 رابط المشروع على GitHub: https://github.com/FlashML-org/FreeToken

🌐 الموقع الرسمي: flashml.ai

---

عاوز تشغّل DeepSeek V4 أو GLM 5.2 (موديلات 290B+ parameters) على جهاز desktop عادي بـ RTX 4090؟ FreeToken من FlashML بيعمل ده بسرعة قابلة للاستخدام الفعلي.

14.9 ألف نجمة، 1.5 ألف fork، Apache 2.0. inference engine لـ MoE models على consumer hardware.

الفكرة في جملة

MoE models (Mixture of Experts) ضخمة بس بتـ “activate” جزء صغير بس من الـ parameters في كل inference. FreeToken بيستغل ده بـ CPU-GPU co-execution: الـ expert active في الـ GPU، الباقي في RAM.

الـ Models المدعومة

• DeepSeek V4-Flash
• Qwen3.6-35B-A3B
• GLM-5.2
• الصيغ المدعومة: MXFP4، NVFP4، FP8، BF16

الـ Features التقنية

• Bandwidth-adaptive CPU-GPU co-execution مع expert caching
• Double-buffered prefill streaming
• Semantic-aware caching للـ KV caches (مش بيعيد حساب السياق بعد التعديلات)
• Runtime VRAM reallocation بين expert cache و KV memory بدون restart
• OpenAI + Anthropic APIs compatible — ينفع يُستخدم مع Claude Code و Codex كـ backend

التثبيت

uv pip install "freetoken[accel]"

# أو من source
git clone https://github.com/FlashML-org/FreeToken.git
cd FreeToken
uv venv && source .venv/bin/activate
uv pip install -e ".[accel]"

المتطلبات

• Windows أو Linux
• NVIDIA RTX 30، 40، أو 50 series
• RAM كتير (المودل بيتخزّن على CPU memory)

الفرق بين ده و AirLLM (نشرت قبل كده)

• AirLLM — layer-by-layer loading. يشتغل على أي GPU حتى 4GB، بس بطيء
• FreeToken — expert streaming. يحتاج RTX مرة واحدة، بس أسرع بكتير — “interactive speeds”

AirLLM لـ experimentation. FreeToken لـ production use case فعلي.

سيناريوهات Ibrahim

الـ Home Server الجديد (HP ProLiant Xeon)

السيرفر دلوقتي 24/7 Coolify. لو أضفت RTX 4090 أو حتى 3090 مستعمل، تقدر تشغّل GLM 5.2 أو DeepSeek V4-Flash محلياً كـ backend لـ:

• faahm RAG system — بدون API bills
• n8n workflows — AI steps محلية
• Claude Code بـ custom endpoint
• bond content generation

الاستثمار الأولي في GPU بيترجّع في شهور قليلة لو حسابك على Anthropic/OpenAI عدّى $200/شهر.

Vibe Coding course

Module عن “self-hosted LLM backend للـ SaaS بتاعك” = موضوع كتير من الطلاب هيحبوه عشان الـ privacy والـ cost control.

DSE healthcare clients

عيادات زي Dr Sara، Dr Hamdy، Max Health — data حساسة. On-prem LLM = compliance advantage حقيقي.

فرصة Service

“Private AI Server Setup” — تنصبّ FreeToken + Open WebUI + Coolify على server داخلي للعميل. سعر: 20-40 ألف جنيه للـ setup. مناسب للـ clinics الكبيرة والـ law firms والـ accounting firms.

تحذيرات

• الـ performance claims promotional — راجع benchmarks بنفسك
• مش بيدعم macOS حالياً
• محتاج RAM كتير (64GB+ موصى بيه للـ 290B models)
• فيه desktop app على flashml.ai بس الـ CLI هو الأقوى

📎 رابط المشروع: github.com/FlashML-org/FreeToken