Hindsight: نظام ذاكرة مفتوح المصدر للـ AI Agents يتفوق على RAG بأعلى دقة في LongMemEval (22 ألف نجمة)

🔗 رابط المشروع على GitHub: https://github.com/vectorize-io/hindsight

🌐 التوثيق الرسمي: hindsight.vectorize.io

📄 الورقة العلمية: arXiv:2512.12818

---

لو انت بتبني AI agents جادين، بتصطدم بحائط واحد كل مرة: الذاكرة. الـ agent مش بيتذكر المستخدم اللي كلمه امبارح، مش بيتعلم من أخطاءه، ومع كل conversation جديد بيبدأ من الصفر. الحلول التقليدية زي RAG وknowledge graphs بتحل جزء صغير من المشكلة بس.

Hindsight من شركة Vectorize.io جت تحل ده بشكل مختلف تماماً — نظام ذاكرة مبني على محاكاة بيولوجية (biomimetic) لطريقة تخزين الذاكرة عند البشر. النتيجة: أعلى دقة تم قياسها في اختبار LongMemEval (المعيار الأشهر لقياس الذاكرة طويلة المدى في AI).

الريبو وصل 22.1 ألف نجمة و1.7 ألف fork، مع 2,793 commit، مرخّص MIT. الأرقام تم إعادة إنتاجها بشكل مستقل من فريق البحث في جامعة Virginia Tech (Sanghani Center) و Washington Post. مستخدم في production في شركات Fortune 500.

الفرق مع RAG

الفكرة المهمة: RAG بيسترجع chunks من النص، Hindsight بيبني فهم متطور. المقارنة الجوهرية:

• RAG: “إبراهيم قال إنه بيحب القهوة” (chunk خام)
• Hindsight: “إبراهيم بيفضّل القهوة، خصوصاً في الصباح، ومش بيشرب كافيين بعد الظهر” (observation مبنية من عدة أدلة)

الفرق ده مش تحسين تدريجي، ده تحوّل معماري.

4 أنواع من الذاكرة (مستوحاة من الدماغ)

• World facts (حقائق العالم): “الفرن بيسخن”
• Experiences (تجارب): “لمست الفرن وحرقني”
• Observations (ملاحظات): معتقدات موحّدة مبنية على أدلة من ذكريات كتير
• Mental Models (نماذج ذهنية): فهم متطوّر للعالم، مركّب من الملاحظات والحقائق

الذكريات بتعيش في banks — كل bank عبارة عن “دماغ” مستقل لمستخدم، agent، أو project. عزل صارم بدون تسريب بين الـ banks.

الـ 3 عمليات الأساسية

1) Retain — تخزين

client.retain(
    bank_id="my-bank",
    content="Alice got promoted to senior engineer",
    context="career update",
    timestamp="2025-06-15T10:00:00Z",
)

خلف الكواليس: LLM بيستخرج الحقائق، البيانات الزمنية، الكيانات، والعلاقات. بيمر بعملية normalization لتحويلها لكيانات canonical مع time series و search indexes.

2) Recall — استرجاع

client.recall(bank_id="my-bank", query="What does Alice do?")
client.recall(bank_id="my-bank", query="What happened in June?")   # temporal

بيشغّل 4 استراتيجيات استرجاع بالتوازي:

• Semantic: Vector similarity
• Keyword: BM25 exact matching
• Graph: Entity/temporal/causal links
• Temporal: Time range filtering

النتائج بتتدمج، تترتب بـ reciprocal rank fusion و cross-encoder reranking، وتتقطع لتنفع في token limit.

3) Reflect — تأمّل

client.reflect(bank_id="my-bank", query="What should I know about Alice?")

تحليل أعمق لذكريات موجودة عشان الـ agent يبني علاقات جديدة وفهم متطور. أمثلة:

• AI Project Manager بيتأمل في المخاطر اللي محتاجة تخفيف
• Sales Agent بيتأمل ليه رسائل تواصل معينة نجحت والأخرى فشلت
• Support Agent بيلاقي فرص لأسئلة العملاء غير المُجاب عنها في التوثيق

ميزات مهمة للسوق العربي

🌍 Multilingual by Default

لغة الإدخال بتتحدد وتتحفظ من طرف لطرف — الحقائق بتفضل بلغتها الأصلية والكيانات بتحتفظ بخطها الأصلي. مثال: “محمد صلاح” بيفضل “محمد صلاح”، مش “Mohamed Salah”. ده فرق أساسي لأي تطبيق عربي حقيقي.

🛡️ Memory Defense

سياسة اختيارية لكل bank تفحص كل retain عن الأسرار وPII ضد 45 نمط — إما تحجب المحتوى ([REDACTED:github_token]) أو تمنع العنصر من الوصول للتخزين. مهم جداً لأي شركة بتخزن بيانات عملاء عرب (GDPR + قوانين حماية البيانات الخليجية).

25+ مزوّد LLM

• Cloud: OpenAI، Anthropic، Gemini، Groq، Bedrock، Vertex AI، MiniMax، DeepSeek
• Local: Ollama، LM Studio، llama.cpp
• Gateways: LiteLLM، LiteLLM Router (وصول لأي موديل)
• Subscription-based: ChatGPT Plus/Pro، Claude Pro/Max، GitHub Copilot — بدون API keys

60+ تكامل جاهز

• Coding Agents: Claude Code، Codex، Cursor، GitHub Copilot، Cline، Aider، Zed، Continue
• Agent Frameworks: LangGraph، LlamaIndex، CrewAI، Pydantic AI، OpenAI Agents SDK، Google ADK، AutoGen
• No-code: n8n ⭐، Zapier، Dify، Flowise
• Apps: ChatGPT، Perplexity، Obsidian، Pipecat (voice)، Vapi (voice)

تكامل n8n المباشر مهم جداً لمن يستخدم n8n لبناء workflows بـ AI — تقدر تدي workflows بتاعتك ذاكرة طويلة المدى بدون كتابة كود.

التثبيت — 30 ثانية

Docker (الأسرع)

export OPENAI_API_KEY=sk-xxx

docker run -it --pull always --name hindsight \
  --restart unless-stopped -p 8888:8888 -p 9999:9999 \
  -e HINDSIGHT_API_LLM_API_KEY=$OPENAI_API_KEY \
  -v hindsight-data:/home/hindsight/.pg0 \
  ghcr.io/vectorize-io/hindsight:latest

# API: http://localhost:8888
# UI:  http://localhost:9999

LLM Wrapper — سطرين كود

أسهل طريقة تضيف ذاكرة لـ agent موجود: بدّل client الـ LLM بـ wrapped one، والذكريات بتتخزن وتسترجع تلقائياً في كل call.

from openai import OpenAI
from hindsight_litellm import wrap_openai

client = wrap_openai(
    OpenAI(),
    bank_id="user-123",
    hindsight_api_url="http://localhost:8888",
)

response = client.chat.completions.create(
    model="gpt-5-mini",
    messages=[{"role": "user", "content": "What do you know about me?"}],
)

ده كده — الـ agent بتاعك عنده ذاكرة طويلة المدى.

حالات استخدام حقيقية

• Chatbots شخصية — كل مستخدم عنده bank خاص، الـ bot يفتكره ويتعلم منه
• AI Sales Agents — يتذكر كل محادثة مع عميل، يبني profile متطور، يعرف تفضيلاته
• AI Support Agents — يتعلم من كل ticket، يكتشف الأسئلة المتكررة، يقترح تحسينات للتوثيق
• Coding Agents — ذاكرة لكل repo (git history + past sessions) — الـ agent يعرف architecture، conventions، in-flight work
• Educational Agents — يتذكر مستوى الطالب، أخطاءه المتكررة، ويكيّف الشرح
• WhatsApp Bots — كل عميل بيبعت من رقم، الـ bot يعرفه ويتذكر سياقه

حالة استخدام Ibrahim المحتملة

عندك Evolution API + n8n لـ WhatsApp bots. الـ bots الحالية بتنسى كل محادثة — كل message جديد بيبدأ من الصفر. مع Hindsight:

• كل رقم WhatsApp يبقى له bank منفصل في Hindsight
• الـ bot يتذكر كل محادثة، تفضيلات العميل، تاريخ اهتماماته
• لما العميل يسأل “الكورس اللي فاكرني عنه”، الـ bot يعرف بالظبط أي واحد
• مع Reflect، الـ bot يقدر يجاوب أسئلة معقدة زي “إيه الكورس المناسب لي بناءً على اللي اشتغلت عليه قبل كده”

ده تحوّل جذري في تجربة WhatsApp bots — من “نموذج ثابت” لـ “assistant شخصي بيتعلم”.

Coding Agents Package

# تركيب على كل coding agents المثبتة
npx @vectorize-io/hindsight-coding-agents install all

# أو agent محدد
npx @vectorize-io/hindsight-coding-agents install claude-code

بيدي كل coding agent (Claude Code، Codex، Cursor، إلخ) ذاكرة طويلة المدى لكل repo — bank يتبني تلقائياً من git history وsessions سابقة، ويُحقن في الـ agent عند بدء الشغل. مع knowledge pages منظمة عن architecture، conventions، وin-flight work.

MCP Server مدمج

http://localhost:8888/mcp/{bank_id}/

كل server بيشحن بـ MCP endpoint مدمج (واحد لكل bank). وجّه أي MCP client عليه عشان تعرض retain، recall، وreflect كـ tools. ده يخلي Hindsight يتكامل مع Claude Desktop، Claude Code، أو أي MCP client بسطر واحد.

Production Ready

• Storage: PostgreSQL + pgvector، أو Oracle AI Database 23ai (feature parity كامل)
• Configuration: Hierarchical (global → per-tenant → per-bank)
• Monitoring: Prometheus metrics + Grafana dashboards
• Operations: Admin CLI للـ migrations وbank repair
• Events: Webhooks لأحداث retain، consolidation، refresh
• Managed: Hindsight Cloud مع 99.9% SLA لو مش عايز تدير البنية التحتية

ليه ده مهم؟

سوق AI agents في 2026 بيتحول من “chatbot يجاوب” لـ “AI employee يتعلم”. الذاكرة هي الفرق الأساسي بين الاتنين. أي حد بيبني AI agent جدي محتاج طبقة ذاكرة قوية — Hindsight تقدم ده بأعلى دقة تم قياسها، بشكل مفتوح، مع دعم عربي أصلي، وتكامل مع كل أدوات السوق.

مع 22.1 ألف نجمة، ورقة علمية، إعادة إنتاج من Virginia Tech وWashington Post، واستخدام في Fortune 500 — ده مش prototype، ده infrastructure production جادة. لو انت بتبني AI products، تجربة Hindsight هي أفضل استثمار وقت تعمله في ذاكرة الـ agents بتاعك.

📎 رابط المشروع: github.com/vectorize-io/hindsight