AirLLM: شغّل Llama 405B على كارت 8GB بس — 37 ألف نجمة

🔗 رابط المشروع على GitHub: https://github.com/lyogavin/airllm

---

عايز تشغّل Llama 405B أو DeepSeek V3 (671B) على كارت شاشة عادي؟ من غير quantization ومن غير ما تحرق الـ model؟ AirLLM من lyogavin بيعملها.

37.7 ألف نجمة، Apache 2.0. الوصف الرسمي: “2.8T LLM inference with single 4GB GPU“.

الفكرة في جملة

بدل ما يحمّل الـ model كله على الـ GPU (اللي محتاج 400+ GB لـ Llama 405B)، AirLLM بيحمّل decoder layer واحد في المرة. الـ VRAM اللي تحتاجه بيعتمد على حجم الـ layer، مش حجم الـ model كله.

النتيجة: Llama 405B على 8 GB VRAM. DeepSeek V3 (671B) على 12 GB. من غير أي quantization أو distillation.

الـ Memory Requirements الحقيقية

Model	Size	VRAM
Qwen3 / Mistral / Phi	~8B	~1-2 GB
Qwen3-30B / Mixtral (MoE)	30-47B	~1-3 GB
Qwen3-235B (MoE)	235B	~3 GB
Llama 3.x 70B	70B	~4 GB
Llama 3.1 405B	405B	~8 GB
DeepSeek V3	671B	~12 GB

الـ Models المدعومة

Llama (2, 3, 3.1, 3.3, 4)، Qwen (1-3.8)، DeepSeek (V2, V3, R1)، Mistral، Mixtral، Phi، Gemma، ChatGLM، Baichuan، InternLM، Yi، Kimi K3.

مميزات إضافية

• 4-bit / 8-bit compression اختياري — سرعة أعلى حتى 3x
• Prefetching — بيحمّل الـ layer التالي أثناء تشغيل الحالي
• AutoModel — بيكتشف نوع الـ model تلقائياً من Hugging Face ID
• Apple Silicon — شغّال على Mac بـ mlx + torch
• LoRA Training — تدريب خفيف على VRAM محدودة

التثبيت

pip install airllm

# للـ compression
pip install -U bitsandbytes

الاستخدام

from airllm import AutoModel

# شغّل Llama 405B على 8 GB
model = AutoModel.from_pretrained("meta-llama/Llama-3.1-405B")

input_text = "اشرحلي ايه هو الـ RAG في جملة."
output = model.generate(input_text, max_new_tokens=100)
print(output)

سيناريوهات Ibrahim

• faahm RAG — شغّل Qwen3-235B على server صغير بدون ما تدفع لـ OpenAI/Anthropic. Privacy كاملة لمحتوى الطلاب
• n8n workflows — self-hosted LLM بدل API calls مدفوعة. وفّر مصاريف شهرية ضخمة
• Vibe Coding course — درس كامل: “ازاي تشغّل LLM private على server بتاعك” — hook قوي للـ privacy-conscious developers
• DSE clients — عملاء العيادات (data حساسة) محتاجين LLMs on-premise — compliance مع data residency

تحذير مهم

الـ layer-by-layer approach بيوفّر VRAM، بس inference أبطأ من الـ full-GPU loading. مناسب لـ batch processing أو low-traffic use cases، مش لـ real-time chat production.

📎 رابط المشروع: github.com/lyogavin/airllm