Agent Desktop من Vercel: Computer Use للـ AI بدون Screenshots — 11 ألف نجمة

🔗 رابط المشروع على GitHub: https://github.com/vercel-labs/agent-desktop

---

Anthropic Computer Use و OpenAI Operator بيعتمدوا على screenshots + pixel matching = بطيء وmargin error كبير. Agent Desktop من Vercel Labs بياخد approach مختلف تماماً: بيستخدم الـ accessibility tree للنظام.

11.8 ألف نجمة، 799 fork، Apache 2.0. CLI من Vercel Labs.

الفكرة في جملة

بدل screenshots، الـ agent بياخد snapshot JSON فيه كل element على الشاشة بـ ref. الـ agent بيأخذ action على ref محدد، وبعدين يعمل snapshot تاني للتحقق.

ليه ده أفضل؟

• مش محتاج pixel matching — accessibility tree deterministic
• Headless by default — الـ actions بتشتغل بدون سرقة focus أو تحريك mouse
• أسرع من screenshot analysis
• أدق — refs مش بتتغيّر مع resize
• JSON structured — سهل الـ chain في workflows

الـ Features

• 56 CLI commands — observing، acting، keyboard، mouse، windows، notifications، clipboard، sessions
• JSON Envelope — كل command بيطلّع {ok, data, error}
• Skill Docs مع البرنامج — agent-desktop skills get desktop
• AGENTS.md compatible
• C Library (libagent_desktop_ffi) — تقدر تستخدمه in-process من أي لغة
• Global --headed flag للـ physical input لو احتجته

التثبيت

npm install -g agent-desktop
agent-desktop version

Bun و Yarn و pnpm شغّالين كمان. Native archives متاحة من GitHub Releases. Homebrew و Scoop قيد الإعداد.

الـ Permissions المطلوبة

• macOS: Accessibility permission (agent-desktop permissions --guide)
• Windows: مفيش permission للـ apps في نفس مستوى integrity
• Linux: graphical session + at-spi2-core. بعض features (mouse، screenshots) تعتمد على X11/Wayland

مثال سريع

# 1. snapshot للشاشة
agent-desktop snapshot

# بيطلّع JSON فيه refs لكل عنصر

# 2. action على ref
agent-desktop click --ref "button_123"

# 3. verify
agent-desktop snapshot

Use Cases مباشرة

• Desktop automation — فتح Excel، تعديل خلايا، حفظ. بدون macros
• Legacy apps — تطبيقات بدون API، الـ agent بيتعامل معاها زي ما human بيتعامل
• Cross-app workflows — نسخ من Browser، لصق في Word، إرسال من Outlook
• Testing — automate testing للتطبيقات اللي مش بتدعم Playwright

سيناريوهات Ibrahim

• bond AI video editor — تطبيق desktop. تقدر تضيف Agent Desktop كـ scripting layer للـ automation من داخل الـ app
• Accounting firm agent — المحاسب بيستخدم Excel. Agent Desktop يخلي الـ agent يفتح الملفات، يعدّلها، يحفظها
• DSE workflow automation — فتح Perfex CRM، إنشاء invoice، إرسال email = كله من agent واحد
• faahm content pipeline — فتح HeyGen، رفع نص، تحميل video = pipeline كامل
• n8nar research — autopilot للـ competitor research عبر عدة desktop apps

الفرق بين ده و Computer Use العادي

• Anthropic Computer Use — screenshots + vision model. أدق للـ GUIs المعقّدة بس أبطأ وأغلى
• Agent Desktop — accessibility tree. أسرع وأرخص بس بيعتمد على التطبيقات اللي بتدعم accessibility

Security Note

الـ snapshots والـ clipboard reads والـ screenshots ممكن يحتووا على محتوى حساس من الـ desktop. متحطّهاش في public logs.

Service

“Desktop Automation Service” لعملاء الـ accounting firms والـ clinic back office. تاخد workflow يومي بيعملوه manually، تحوّله لـ agent بـ Agent Desktop. سعر: 5-15 ألف جنيه لكل workflow + maintenance شهري.

📎 رابط المشروع: github.com/vercel-labs/agent-desktop