Scrapling: Framework عربي محبوب لـ Web Scraping يكسر Cloudflare — 90 ألف نجمة

🔗 رابط المشروع على GitHub: https://github.com/D4Vinci/Scrapling

---

عايز تعمل scraping لمواقع عربية فيها Cloudflare؟ Playwright بيتبّس. Requests بترجّع 403. Selenium بطيء. Scrapling من D4Vinci بيحل الموضوع ده كله في مكان واحد.

90 ألف نجمة، 9.3 ألف fork، BSD-3. Python framework بيدعي إنه “الأفضل” لـ web scraping — وفعلاً الـ features قوية.

الفكرة في جملة

مكتبة واحدة بتغطّي: HTTP requests + browser automation + stealth + parsing + crawling + AI integration.

الـ Features

Fetching

• Browser TLS fingerprint impersonation — بيحاكي Chrome/Firefox fingerprint الحقيقي
• Stealth browsers لمواقع JavaScript ثقيلة
• Persistent sessions
• Proxy rotation
• Cloudflare Turnstile handling — يبايباس Cloudflare بشكل auto

Parsing

• CSS selectors، XPath، text، regex
• Smart Element Tracking — لو الموقع تغيّر layout، بيلاقي الـ elements تاني تلقائياً
• Similar-element matching

Crawling

• Spider API شبه Scrapy بس أبسط
• Concurrency limits، pause/resume، retries
• AutoThrottle
• robots.txt compliance
• Export: JSON/JSONL/CSV/XML

AI Integration

• MCP Server — تقدر تستخدمه من Claude Code أو أي AI agent
• Agent Skill جاهز
• Markdown output لـ RAG pipelines
• Terminal extract command
• Interactive shell

التثبيت

# parser بس
pip install scrapling

# مع الـ fetchers
pip install "scrapling[fetchers]"
scrapling install    # بيحمّل الـ browsers

# المميزات الإضافية
pip install "scrapling[ai]"       # MCP server
pip install "scrapling[rag]"      # RAG tooling
pip install "scrapling[shell]"    # interactive shell

# كله
pip install "scrapling[all]"

# Docker
docker pull pyd4vinci/scrapling

مثال سريع

from scrapling.fetchers import Fetcher, StealthyFetcher

# fetch بسيط
page = Fetcher.get('https://example.com')
title = page.css_first('h1::text')

# stealth لمواقع صعبة
page = StealthyFetcher.fetch('https://cloudflare-site.com')
products = page.css('.product-card')

# RAG output
markdown = page.markdown()

سيناريوهات Ibrahim

• n8nar competitor research — scrape مواقع منافسين عربية بـ Cloudflare
• faahm content aggregation — scrape دروس من مواقع تعليمية لإثراء الـ RAG
• bond trend research — scrape TikTok/Instagram trends (الـ stealth browser بيعدّي كتير منها)
• DSE lead generation — scrape قوائم عيادات من Google Maps، Yellow Pages، Facebook
• Vibe Coding course — Module عن scraping للـ SaaS: لازم لأي data-driven app
• ai-trend-research project — بدل Apify، تقدر تستخدم Scrapling بـ zero cost

مع Claude Code via MCP

pip install "scrapling[ai]"

# تضيفه كـ MCP server في Claude Code
# بعدها: "اعمل scrape لهذه القائمة ورتّب النتايج في CSV"

Claude Code بيتعامل معاه كـ native tool.

فرصة Service

“Data Collection Service” — تاخد client requirements (قائمة عملاء محتملين، competitor pricing، منتجات من Amazon)، تسلّمه dataset نظيف بـ CSV/JSON. سعر: 3-15 ألف جنيه لكل dataset حسب الحجم.

تحذيرات قانونية

• احترم robots.txt دائماً
• Scraping لمواقع خاصة أو محمية بـ login = مشكلة قانونية محتملة
• Terms of Service بعض المواقع بتمنع scraping صراحة
• استخدمه لـ data public فقط، أو لمواقعك

📎 رابط المشروع: github.com/D4Vinci/Scrapling