المحتوى والتوثيق

Robots.txt Configuration

إنشاء وإدارة ملفات robots.txt للتحكم في سلوك زحف محركات البحث.

Claude Code Cursor Copilot

نظرة عامة

يتحكم robots.txt في كيفية وصول زواحف محركات البحث إلى صفحات موقعك. يمكن لوكلاء البرمجة الذكية إنشاء والتحقق من وتحسين تكوينات robots.txt بناءً على بنية موقعك ومتطلبات SEO.

يمكن للوكلاء إنشاء ملفات robots.txt بقواعد سماح/منع مناسبة وتكوين إعدادات تأخير الزحف والإشارة إلى مواقع خرائط المواقع وإعداد قواعد خاصة بوكلاء المستخدم. يفهمون الأنماط الشائعة لحظر مناطق الإدارة ونقاط نهاية API والمحتوى المكرر.

يتضمن سير العمل اختبار قواعد robots.txt مقابل عناوين URL محددة وضمان عدم حظر الصفحات الهامة بالخطأ وتكوين قواعد لأنواع زواحف مختلفة. يمكن للفرق الحفاظ على robots.txt يوازن بين تحسين ميزانية الزحف وإمكانية الوصول الكامل للمحتوى.

لمن هذه الأداة؟

إنشاء robots.txt بقواعد زحف مناسبة
حظر مسارات الإدارة وAPI من الزواحف
تكوين قواعد زحف خاصة بوكلاء المستخدم
التحقق من أن robots.txt لا يحظر صفحات مهمة

التثبيت

إعداد Claude Code

npm install astro-robots-txt

الإعدادات

# robots.txt
User-agent: *
Allow: /
Disallow: /admin/
Disallow: /api/
Disallow: /dashboard/

Sitemap: https://example.com/sitemap-index.xml

زيارة المصدر (Official Site)

استكشف أدوات AI

أدوات AI تكمل شغلك — للمصممين والمطورين

اقرأ مقالات عن AI

نصايح عملية في التصميم والذكاء الاصطناعي

أدوات مشابهة

المحتوى والتوثيق

Markdown Documentation Generator

إنشاء توثيق شامل للمشروع تلقائيًا من تعليقات الكود وبنية الملفات.

Claude Code Copilot Cursor

المحتوى والتوثيق

OpenAPI Documentation

إنشاء وتحديث مواصفات OpenAPI تلقائيًا مع واجهة تفاعلية لاستكشاف الـ API.

Claude Code Copilot Cursor

المحتوى والتوثيق

README Generator

إنشاء ملفات README احترافية تلقائيًا مع أقسام التثبيت والاستخدام والمساهمة.

Claude Code Copilot Cursor