مولّد مجاني لملف Robots.txt
اختر قواعد وصول برامج الزحف وأنشئ ملف robots.txt جاهزاً للاستخدام لموقعك.
User-agent: * Allow: / Disallow: /admin Disallow: /api Sitemap: https://tool-verse.com/sitemap.xml
يبني مولّد Robots.txt الملف الذي يخبر برامج زحف محركات البحث بالأجزاء التي يمكنها الوصول إليها من الموقع والأجزاء التي لا يمكنها ذلك، دون الحاجة لتذكّر الصياغة الدقيقة.
ما هو ملف robots.txt، وما الذي يفعله فعلياً؟
هو ملف نصي بسيط يوضع في جذر الموقع — مثل example.com/robots.txt — يعطي برامج الزحف المتوافقة تعليمات حول عناوين URL أو المسارات المطلوب منها زحفها أو تجنّبها. يقدّم إرشاداً للزحف، لا تحكماً في الوصول: فهو يمكن أن يطلب بأدب من برنامج زحف مهذّب الابتعاد عن مسار معين، لكن لا ينبغي الاعتماد عليه لإبقاء معلومات خاصة فعلياً بعيدة عن محركات البحث، لأنه لا يمنع الوصول، بل يطلب فقط عدم زيارة برامج الزحف له.
هل يمكن لـ robots.txt إبقاء صفحة فعلياً خارج نتائج بحث جوجل؟
ليس بشكل موثوق، وهذا هو أكثر سوء فهم شائع حوله. يتحكم robots.txt في الزحف — ما إذا كان روبوت سيطلب عنوان URL — لا في الفهرسة، وهو قرار منفصل تتخذه محركات البحث. إذا كانت صفحة مفهرسة بالفعل، فإن حجبها في robots.txt وحده لن يزيلها من نتائج البحث؛ ستحتاج بدلاً من ذلك إلى توجيه noindex على صفحة لا يزال بإمكان جوجل الوصول إليها. وهذا هو الفرق الحقيقي بين الاثنين: يخبر robots.txt برامج الزحف بالأماكن التي لا يجب زيارتها، بينما يخبر وسم noindex محركات البحث بعدم فهرسة صفحة لا يزال مسموحاً لها بزيارتها.
ماذا تعني User-agent وDisallow وAllow فعلياً، وهل يمكنها حجب مجلد أو موقع كامل؟
يحدّد User-agent برنامج الزحف الذي تنطبق عليه قاعدة ما — والعلامة النجمية (*) تطبّقها على كل برنامج زحف، أو يمكنك تسمية واحد محدد لقواعد مختلفة لكل روبوت. يخبر Disallow برنامج الزحف بعدم طلب عناوين URL أو مسارات مطابقة، ويسمح Allow صراحةً بزحف مسار، وهو مفيد عندما يكون أكثر تحديداً من قاعدة Disallow أوسع تغطي المنطقة نفسها. ويمكن حجب مجلد واحد وموقع ويب كامل بقاعدة Disallow الصحيحة — وهذا بالضبط سبب أن قاعدة واسعة جداً تستحق الاختبار بعناية قبل النشر، لأن خطأ واحداً يمكن أن يحجب برامج الزحف عن موقع كامل عن غير قصد.
هل يجب تضمين خريطة موقعك في robots.txt، وأين يجب أن يقيم الملف فعلياً؟
نعم — فتوجيه Sitemap يشير إلى عنوان URL الكامل لخريطة الموقع يسهّل على برامج الزحف اكتشاف خريطة موقعك تلقائياً. أما الملف نفسه فيجب أن يقع في جذر النطاق تحديداً، مثل https://example.com/robots.txt، لأن محركات البحث تتحقق فقط من ذلك الموقع القياسي الواحد ولن تجد ملف robots.txt موضوعاً في أي مكان آخر.
هل يحسّن robots.txt فعلياً تحسين محركات البحث، ومتى يجب حجب صفحات به؟
ليس بشكل مباشر — فقيمته الحقيقية هي إدارة ميزانية الزحف، ومنع برامج الزحف من إهدار الوقت على صفحات لا تحتاج للزحف، لا رفع التصنيفات. احجب الصفحات فقط عندما يكون هناك سبب واضح للزحف؛ فحجب صفحات مهمة يمكن أن يمنع محركات البحث عن غير قصد من الوصول إلى محتوى تحتاجه فعلياً لفهم موقعك وتصنيفه.
لماذا يعمل شيء بهذه الأهمية بمجموعة قواعد غير رسمية إلى هذا الحد؟
لأنه لنحو 30 عاماً، لم يكن فعلياً معياراً رسمياً على الإطلاق — بل مجرد اتفاقية وافق الجميع على اتّباعها. اقترح المهندس البرمجي الهولندي مارتين كوستر بروتوكول استبعاد الروبوتات عام 1994 بعد أن هاجم برنامج زحف مبكر سيء السلوك خادمه مراراً، وبحلول يونيو من ذلك العام أصبح بالفعل المعيار الفعلي: وافقت برامج الزحف الكبرى في ذلك العصر، بما فيها WebCrawler وLycos وAltaVista، ببساطة على احترامه طوعياً، دون أي جهة تنظيمية تفرض شيئاً. واستمر ذلك الترتيب غير الرسمي لجزء مفاجئ فعلياً من تاريخ الويب — فلم تقترح جوجل تقنينه رسمياً عبر فرقة عمل هندسة الإنترنت حتى يوليو 2019، ولم يصبح البروتوكول معياراً رسمياً للإنترنت، RFC 9309، حتى سبتمبر 2022. وبعبارة أخرى، عملت واحدة من أكثر القواعد احتراماً على الإنترنت بأكمله لمدة 28 عاماً بالاعتماد فقط على التعاون بحسن نية قبل أن يكلّف أحد نفسه عناء جعلها رسمية.
هل مولّد ملف Robots.txt مجاني للاستخدام؟
نعم. مولّد ملف Robots.txt مجاني بالكامل، بدون تسجيل وبدون حدود استخدام.
هل أحتاج إلى تثبيت أي برنامج؟
لا. يعمل مولّد ملف Robots.txt مباشرة في متصفح الويب الخاص بك — لا حاجة لتنزيل أو تثبيت أي شيء.
هل تُحفظ بياناتي بشكل خاص؟
كل شيء يحدث على جهازك. نحن لا نستقبل أو نخزّن أبدًا الملف أو النص الذي تُدخله في مولّد ملف Robots.txt.