ما هو ملف robots.txt؟
ملف robots.txt هو مستند نصي يوضع في المجلد الرئيسي للموقع الإلكتروني لتوجيه زواحف محركات البحث حول الصفحات أو الأقسام التي يجب أو لا يجب الزحف إليها. وهو أداة حيوية لإدارة ميزانية الزحف (Crawl Budget) ومنع أرشفة الأجزاء الحساسة أو المكررة من الموقع.
ملف robots.txt هو في الأساس مجموعة من التعليمات لبرامج الروبوت (الزواحف). عندما يزور محرك بحث مثل Google موقعاً ما، فإن أول ما يبحث عنه هو هذا الملف. يستخدم الملف 'بروتوكول استبعاد الروبوتات' لإعطاء أوامر مثل 'User-agent' (الجهة التي ينطبق عليها الأمر) و 'Disallow' (المسارات التي يجب تجاهلها). وبينما يعد الملف ممتازاً لمنع الزواحف من إضاعة الوقت في صفحات منخفضة القيمة — مثل شاشات تسجيل الدخول، أو نتائج البحث الداخلي، أو مجلدات الإدارة — فمن المهم ملاحظة أن robots.txt ليس طريقة مضمونة لمنع الصفحة من الظهور في فهرس Google. إذا كانت الصفحة محظورة في robots.txt ولكن هناك روابط خارجية تشير إليها، فقد يستمر Google في أرشفتها. لمنع ظهور الصفحة تماماً في نتائج البحث، يلزم استخدام وسم 'noindex'. يعد التكوين الخاطئ لملف robots.txt خطأً تقنياً شائعاً في الـ SEO؛ فمنع موقعك بالكامل بالخطأ قد يؤدي إلى اختفاء تام من نتائج البحث، لذا يجب التعامل معه بحذر.
دليل خطوة بخطوة
تحديد الموقع أو الإنشاء
تأكد من وجود ملف باسم robots.txt في المجلد الرئيسي لموقعك (مثال: example.com/robots.txt).
تحديد وكلاء المستخدم (User-Agents)
حدد البوتات التي تنطبق عليها القواعد، باستخدام علامة النجمة (*) لكل البوتات أو 'Googlebot' لبوتات محددة.
ضبط قواعد المنع (Disallow)
أدرج المجلدات أو مسارات الملفات المحددة التي تريد إبقاءها بعيدة عن زواحف محركات البحث.
إضافة رابط خريطة الموقع (Sitemap)
أدرج رابطاً مباشراً لخريطة الموقع XML في أسفل الملف لمساعدة البوتات على اكتشاف محتواك.
فحص الأخطاء
استخدم أداة فحص robots.txt في Google Search Console للتأكد من أنك لا تحجب صفحات مهمة.
نصائح احترافية
- استخدم 'Disallow' للصفحات الخاصة أو المتكررة مثل /wp-admin/ أو /search/.
- لا تستخدم robots.txt لإخفاء بيانات المستخدم الحساسة؛ استخدم الحماية بكلمة مرور بدلاً من ذلك.
- اجعل القواعد بسيطة؛ فالقواعد المعقدة قد تؤدي إلى أخطاء في الزحف.
كيف يساعد pSeoMatic
يراقب pSeoMatic تلقائياً ملف robots.txt الخاص بك لاكتشاف أي تغييرات غير متوقعة. إذا قام مطور ما بحظر قسم عالي الزيارات في موقعك عن طريق الخطأ، يرسل نظامنا تنبيهاً فورياً، مما يمنع حدوث انخفاض كارثي في الظهور العضوي قبل أن يؤثر ذلك على أرباحك.
جرب pSeoMatic مجاناًأسئلة ذات صلة
هل يمنع robots.txt أرشفة الصفحة؟
هو يوقف الزحف فقط، لكن الأرشفة قد تحدث إذا ربطت مواقع أخرى بتلك الصفحة. استخدم وسم noindex للإزالة التامة.
أين أضع ملف robots.txt؟
يجب وضعه في المجلد الرئيسي (Root Directory) لاستضافة موقعك.
هل يتأثر ملف robots.txt بحالة الأحرف؟
نعم، كل من اسم الملف ومسارات المجلدات المدرجة بداخله حساسة لحالة الأحرف (Capitalization).
أدلة ذات صلة
هل أنت مستعد لوضع هذا قيد التنفيذ؟
يقوم pSeoMatic بإنشاء آلاف الصفحات المحسنة لمحركات البحث (SEO-optimized) من بياناتك.