النتيجة.....
كيفية إنشاء ملف robots.txt على اداة مولد إنشاء ملف robots.txt جاهز
- أدخل عنوان موقع الويب الخاص بك بدون علامة / الأخيرة. هاكذا https://www.wlmok-web.com
- إضغط على توليد الان ROBOTS.TXT في الأسفل
- بعد توليد الكود ، إضغط على انسخ الكود بالأسفل
- من اعدادات موقع بلوجر انقر على ملف robots.txt مخصّص وقم بلصق الكود
- احفظ الاعدادات
ما هو ملف robots.txt
Robots.txt هو ملف يمكن استخدامه للتحكم في سلوك روبوتات الويب ، وهي برامج كمبيوتر مصممة لفهرسة محتويات مواقع الويب والزحف إليها. يحتوي الملف على توجيهات تخبر الروبوت بالصفحات التي يجب أن يتضمنها في فهرسها وكيف يجب أن يتصرف عند زيارة تلك الصفحات.
كيف يساعد ملف Robots.txt في تحسين محركات البحث
إذا كان موقع الويب الخاص بك لا يحتوي على ملف robot.txt ، فهناك فرصة ألا تقوم برامج الزحف بفهرسة جميع صفحاتك. تستخدم Google ميزانية الزحف ، وهي تعتمد على حد الزحف ، وهو مقدار الوقت الذي يقضيه الزاحف على موقع الويب.
إذا وجد محرك بحث Google أن الزحف إلى موقعك أمر مزعج ، فسيبدأ في الزحف إلى موقعك بشكل أبطأ. هذا يعني أنه عندما ترسل Google الزاحف الخاص بها إلى موقع الويب الخاص بك ، فإنها ستقوم فقط بمسح بضع صفحات فقط ، وقد تستغرق آخر مشاركة لك بعض الوقت حتى تتم فهرستها.
لإزالة هذا التقييد ، سيطلب موقع الويب الخاص بك ملف robots.txt وخريطة موقع. ستساعد هذه الملفات في عملية الزحف من خلال الإشارة إلى الروابط التي تتطلب مزيدًا من الاهتمام.