دليل شامل: كيفية إضافة وتكوين ملف Robots.txt لتحسين تفاعل محركات البحث
ما هو Robots.txt
robots.txt هو ملف نصي يتم وضعه على موقع الويب لتوجيه زوار محركات البحث حول الصفحات التي يجب أن تفهمها أو تتجاهلها. يستخدم هذا الملف لتحديد أي جزء من الموقع يمكن لزوار محرك البحث الوصول إليه أو عدم الوصول إليه. يعتبر استخدام robots.txt من أساسيات تحسين محركات البحث (SEO) لأنه يمكن أن يساعد في تحسين أداء محركات البحث عند فهرسة الموقع.
الخطوة 1 : انشاء ملف robots.txt،
يجب اتباع الخطوات التالية:
1. قم بفتح محرر نصوص على جهاز الكمبيوتر الخاص بك، مثل Notepad على Windows أو TextEdit على macOS.
2. ابدأ بكتابة التعليمات اللازمة لملف robots.txt. يمكنك استخدام الأمثلة التالية للإشارة إلى مواقع مختلفة على موقع الويب الخاص بك:
- لمنع جميع زوار محرك البحث من فهرسة أي صفحة على الموقع
- للسماح لجميع زوار محرك البحث بفهرسة جميع صفحات الموقع
3. بعد كتابة التعليمات، قم بحفظ الملف باسم "robots.txt" وتأكد من اختيار نوع الملف كـ "All Files" (جميع الملفات) لضمان أنه يتم حفظه كملف نصي وليس كملف ملف دفعي.
الخطوة 2 : هيكلة ملف Robots.txt
ملف robots.txt يحتوي عادةً على تعليمات لمحركات البحث حول كيفية فهرسة المواقع والصفحات. الهيكلة العامة لملف robots.txt تتبع تنسيق بسيط يتكون من عدة أقسام، بما في ذلك:
1.User-agent: تحديد محرك البحث الذي تطبق عليه التعليمات. يمكنك استخدام * للإشارة إلى جميع محركات البحث.
2.Disallow: تحديد الصفحات أو المجلدات التي يجب عدم فهرستها. يمكنك استخدام / للإشارة إلى جميع الصفحات، أو تحديد صفحات أو مجلدات محددة.
3.Allow: تحديد الصفحات أو المجلدات التي يمكن فهرستها، ويتم تجاهلها إذا كانت تعليمات الـ Disallow تمنع فهرسة المجلد الأساسي.
4.Sitemap: تحديد موقع خريطة الموقع (sitemap) لمساعدة محرك البحث في فهرستة الموقع.
في هذا المثال، يتم منع محركات البحث من فهرسة أي صفحات تحت /private/ ويسمح لها بفهرسة أي صفحات تحت /public/. كما يشير إلى موقع خريطة الموقع على https://example.com/sitemap.xml.
الخطوة 3 : تحديث موقعك على الخادم
1. ابدأ بتسجيل الدخول إلى برنامج نقل الملفات FTP.
2. قم بتسجيل الدخول إلى الخادم الأصلي الذي تريد رفع ملف Robots.txt إليه.
3. انتقل إلى الدليل الرئيسي لموقعك على الخادم.
4. ارفع ملف Robots.txt إلى الدليل الرئيسي لموقعك على الخادم.
الخطوة 4 : اختبار ملف Robots.txt
للاختبار إذا كان ملف robots.txt الخاص بك يعمل بشكل صحيح، يمكنك اتباع الخطوات التالية:
1. استخدام أدوات محاكاة لمحركات البحث: يمكنك استخدام أدوات محاكاة لمحركات البحث المتوفرة عبر الإنترنت لاختبار كيفية رؤية محرك البحث لملف robots.txt الخاص بك. بعض الأدوات تسمح لك بإدخال عنوان URL لموقعك وتظهر لك كيف ترى محركات البحث الموقع وما إذا كانت تحترم تعليمات robots.txt.
2. استخدام Google Search Console: إذا كنت تستخدم Google Search Console، يمكنك استخدام أداة "اختبار robots.txt" لرؤية كيف يرى Google ملف robots.txt الخاص بك وما إذا كان هناك أي مشاكل تقنية.
3. التحقق يدويًا: قم بفحص ملف robots.txt يدويًا للتأكد من أن التعليمات مكتوبة بشكل صحيح وأنها تعكس توجيه محركات البحث بشكل صحيح.
4. اختبار على محركات البحث: قم بالبحث عن موقعك على محركات البحث الشهيرة مثل Google و Bing و Yahoo! لرؤية ما إذا كانت الصفحات التي تريد حظرها فعلاً محظورة.
5. متابعة الأخطاء: إذا واجهت أخطاء أو مشاكل، قم بمراجعة ملف robots.txt الخاص بك وتصحيح أي مشاكل وأعد الاختبار.