MarkItDown من Microsoft: أي ملف لـ Markdown نظيف للـ LLM بسطر واحد (180 ألف نجمة)

لو انت شغّال مع LLMs (Claude, ChatGPT, Gemini) وبتحتاج تدخّل ملفات كتيرة عليها — PDFs، محاضرات PowerPoint، Excel، مستندات Word، أو حتى ملفات صوت وفيديوهات YouTube — MarkItDown من Microsoft هو الأداة اللي محتاجها. مكتبة Python واحدة بتحوّل أي ملف لـ Markdown نظيف، منظّم، وجاهز للـ LLM يفهمه.

الريبو وصل 180 ألف نجمة على GitHub و13.3 ألف fork، مرخّص MIT.

ليه Markdown بالذات؟

الـ LLMs الكبيرة (GPT-4o, Claude, Gemini) اتدرّبت على كميات ضخمة من Markdown، وبتفهمه بشكل native. فبدل ما تديها PDF ثقيل، أو نص خام بدون بنية، الـ Markdown بيحافظ على العناوين، القوائم، الجداول، والروابط، وفي نفس الوقت بيستهلك tokens أقل بكتير من HTML أو JSON.

يدعم كل ده

• مستندات Office: PDF, Word (.docx), PowerPoint (.pptx), Excel (.xlsx / .xls)
• Outlook messages (.msg)
• صور (EXIF metadata + OCR)
• ملفات صوت (EXIF + speech transcription — WAV و MP3)
• HTML
• Text-based formats: CSV, JSON, XML
• ZIP files (بيفتحها ويكرّر على المحتوى)
• YouTube URLs (transcript كامل)
• EPub (كتب إلكترونية)

التثبيت — أمر واحد

# كل الميزات
pip install 'markitdown[all]'

# أو ميزات محددة بس (أخف)
pip install 'markitdown[pdf, docx, pptx]'

# متطلب: Python 3.10+

الاستخدام — 3 طرق

1) Command line — أبسط طريقة:

markitdown lecture.pdf > lecture.md
markitdown slides.pptx -o slides.md
cat report.docx | markitdown > report.md

2) Python — للـ automation:

from markitdown import MarkItDown

md = MarkItDown()
result = md.convert("data.xlsx")
print(result.markdown)

3) Docker — بدون تركيب على الجهاز:

docker build -t markitdown:latest .
docker run --rm -i markitdown:latest  output.md

وصف الصور بـ LLM Vision

MarkItDown بيقدر يكتب وصف نصي للصور جوّه الـ PowerPoint (أو أي صورة) عن طريق أي OpenAI-compatible client (GPT-4o, Claude, Gemini):

from markitdown import MarkItDown
from openai import OpenAI

client = OpenAI()
md = MarkItDown(llm_client=client, llm_model="gpt-4o")
result = md.convert("presentation.pptx")
print(result.markdown)  # الصور هتبقى بوصف نصي جواها

OCR للـ PDFs الممسوحة ضوئياً

Plugin اسمه markitdown-ocr بيحل مشكلة الـ PDFs المصوّرة (زي الكتب القديمة أو المذكرات المكتوبة بخط اليد اللي اتاسكنت). نفس نمط llm_client:

pip install markitdown-ocr

from markitdown import MarkItDown
from openai import OpenAI

md = MarkItDown(
    enable_plugins=True,
    llm_client=OpenAI(),
    llm_model="gpt-4o",
)
result = md.convert("scanned_book.pdf")

Azure Content Understanding — للأعمال الكبيرة

لو محتاج extraction عالي الجودة أو ميزات إضافية (فيديو، استخراج fields منظمة كـ YAML)، MarkItDown بيتكامل مع Azure Content Understanding:

md = MarkItDown(cu_endpoint="<azure-endpoint>")
result = md.convert("meeting.mp4")   # فيديو → transcript كامل
result = md.convert("invoice.pdf")   # فاتورة → fields منظمة

حالات استخدام حقيقية

• RAG systems: ملفات العملاء (contracts, reports, presentations) → Markdown → embed → vector DB
• تحضير محتوى تعليمي: محاضرات PowerPoint + ملفات صوت للمحاضرين → Markdown نظيف تنشره كـ مدونة أو دورة
• تحليل بيانات: ملفات Excel معقدة → Markdown → Claude يقرا ويحلل بدون confusion
• تلخيص فيديوهات YouTube: URL واحد → transcript كامل → ملخص LLM
• معالجة إيميلات Outlook: .msg files → Markdown → automation workflows
• تحويل كتب EPub لتنسيقات LLM-friendly لبناء chatbots معرفية

ملاحظات أمان مهمة

• MarkItDown بيشتغل بصلاحيات الـ process الحالي — يقدر يقرأ أي ملف/URL يقدر الـ script يقرأه
• لو بتستخدمه في سيرفر بيقبل مدخلات من مستخدمين — نظّف الـ inputs أولاً، ولا تسمح بـ file paths أو URLs عشوائية
• استخدم الـ narrowest API — convert_local() للملفات المحلية بس، convert_stream() للـ streams

ليه ده مهم؟

90% من الوقت اللي بيتصرف في preparing data لـ LLMs بيروح في تحويل الملفات لتنسيق يفهمه الـ LLM. MarkItDown بيحل ده بسطر واحد — بدل مكتبات منفصلة لكل format (PyPDF2, python-docx, openpyxl, python-pptx, whisper، إلخ). ده بيوفر أيام من الشغل، خصوصاً لو انت بتبني RAG systems أو data pipelines.

ولإن الأداة من Microsoft ومفتوحة المصدر بترخيص MIT، تقدر تستخدمها في أي مشروع تجاري بدون قلق.