ما هو ملف robots.txt؟ وماهي أهميته؟

ما هو ملف robots.txt؟ 

Robots.txt هو ملف نصي ينشئه مشرفو المواقع لإرشاد روبوتات الويب (عادة برامج الروبوت لمحركات البحث) حول كيفية الزحف إلى الصفحات الموجودة على موقع الويب الخاص بهم. يعد ملف robots.txt جزءًا من بروتوكول استبعاد برامج الروبوت (REP) ، وهو مجموعة من معايير الويب التي تنظم كيفية زحف الروبوتات إلى الويب ، والوصول إلى المحتوى وفهرسته ، وتقديم هذا المحتوى للمستخدمين. يتضمن REP أيضًا توجيهات مثل الروبوتات الوصفية ، بالإضافة إلى تعليمات الصفحات أو الدليل الفرعي أو على مستوى الموقع لكيفية تعامل محركات البحث مع الروابط (مثل "متابعة" أو "nofollow").

من الناحية العملية ، تشير ملفات robots.txt إلى ما إذا كان يمكن لوكلاء مستخدمين معينين (برنامج زحف الويب) الزحف إلى أجزاء من موقع الويب أم لا. يتم تحديد تعليمات الزحف هذه عن طريق "عدم السماح" أو "السماح" بسلوك وكلاء مستخدم معينين (أو جميعهم).

التنسيق الأساسي:

User-agent: [user-agent name] Disallow: [لا يتم الزحف إلى سلسلة عناوين URL]

يعتبر هذان الخطان معًا ملف robots.txt كاملًا - على الرغم من أن ملف روبوت واحد يمكن أن يحتوي على أسطر متعددة من وكلاء المستخدم والتوجيهات (على سبيل المثال ، عدم السماح ، السماح ، تأخير الزحف ، إلخ).

داخل ملف robots.txt ، تظهر كل مجموعة من توجيهات وكيل المستخدم كمجموعة منفصلة ، مفصولة بفاصل أسطر:

في ملف robots.txt الذي يحتوي على توجيهات متعددة لوكيل المستخدم ، تنطبق كل قاعدة تسمح أو تسمح فقط على وكيل (وكلاء) المستخدم المحدد في تلك المجموعة المعيّنة من فواصل الأسطر. إذا كان الملف يحتوي على قاعدة تنطبق على أكثر من وكيل مستخدم واحد ، فلن ينتبه الزاحف إلا إلى (واتباع التوجيهات) مجموعة التعليمات الأكثر تحديدًا.

 يتم استدعاء كل من Msnbot و discobot و Slurp على وجه التحديد ، لذا فإن وكلاء المستخدم هؤلاء سينتبهون فقط للتوجيهات الموجودة في أقسامهم من ملف robots.txt. سيتبع جميع وكلاء المستخدم الآخرين التوجيهات في وكيل المستخدم: * المجموعة.

مثال robots.txt:

في ما يلي بعض الأمثلة عن ملف robots.txt عمليًا لموقع www.example.com:

عنوان URL لملف Robots.txt: www.example.com/robots.txt

حظر جميع برامج زحف الويب من كل المحتوى

وكيل المستخدم: * Disallow: /

إن استخدام هذه البنية في ملف robots.txt سيخبر جميع برامج زحف الويب بعدم الزحف إلى أي صفحات على www.example.com ، بما في ذلك الصفحة الرئيسية.

السماح لجميع برامج زحف الويب بالوصول إلى كل المحتوى

وكيل المستخدم: * عدم السماح:

يطلب استخدام هذه البنية في ملف robots.txt برامج زحف الويب من الزحف إلى جميع الصفحات على www.example.com ، بما في ذلك الصفحة الرئيسية.

حظر زاحف ويب معين من مجلد محدد

وكيل المستخدم: Googlebot Disallow: / example-subfolder /

تخبر هذه البنية زاحف Google فقط (اسم وكيل المستخدم Googlebot) بعدم الزحف إلى أي صفحات تحتوي على سلسلة عنوان URL www.example.com/example-subfol ... زاحف ويب معين من صفحة ويب معينة

وكيل المستخدم: BingbotDisallow: /example-subfolder/blocked-page.html

تخبر هذه البنية زاحف Bing فقط (اسم وكيل المستخدم Bing) لتجنب الزحف إلى الصفحة المحددة على www.example.com/example-subfol ... هل يعمل ملف robots.txt؟

لمحركات البحث وظيفتان رئيسيتان:

الزحف إلى الويب لاكتشاف المحتوى ؛

فهرسة هذا المحتوى بحيث يمكن عرضه على الباحثين الذين يبحثون عن معلومات.

للزحف إلى المواقع ، تتبع محركات البحث الروابط للانتقال من موقع إلى آخر - وفي النهاية ، الزحف عبر العديد من مليارات الروابط ومواقع الويب. يُعرف سلوك الزحف هذا أحيانًا باسم "spidering".

بعد الوصول إلى موقع ويب ولكن قبل عرضه ، سيبحث زاحف البحث عن ملف robots.txt. إذا عثرت على ملف ، فسيقرأ الزاحف هذا الملف أولاً قبل المتابعة عبر الصفحة. نظرًا لأن ملف robots.txt يحتوي على معلومات حول كيفية زحف محرك البحث ، فإن المعلومات الموجودة هناك ستوجه المزيد من إجراءات الزاحف على هذا الموقع بالتحديد. إذا كان ملف robots.txt لا يحتوي على أي توجيهات تمنع نشاط وكيل المستخدم (أو إذا لم يكن الموقع يحتوي على ملف robots.txt) ، فسيتابع الزحف إلى معلومات أخرى على الموقع.

يجب أن يعرف ملف robots.txt السريع الآخر:

(نناقش بمزيد من التفصيل أدناه)

من أجل العثور عليه ، يجب وضع ملف robots.txt في دليل المستوى الأعلى لموقع الويب.

ملف Robots.txt حساس لحالة الأحرف: يجب تسمية الملف باسم "robots.txt" (وليس Robots.txt أو robots.TXT أو غير ذلك).

قد يختار بعض وكلاء المستخدم (برامج الروبوت) تجاهل ملف robots.txt الخاص بك. هذا أمر شائع بشكل خاص مع المزيد من برامج الزحف الشائنة مثل روبوتات البرامج الضارة أو كاشطات عناوين البريد الإلكتروني.

ملف /robots.txt متاح للجمهور: فقط أضف /robots.txt إلى نهاية أي نطاق جذر لترى توجيهات موقع الويب هذا (إذا كان هذا الموقع يحتوي على ملف robots.txt!). وهذا يعني أن أي شخص يمكنه رؤية الصفحات التي تفعلها أو لا تريد أن يتم الزحف إليها ، لذا لا تستخدمها لإخفاء معلومات المستخدم الخاصة.

يستخدم كل نطاق فرعي في نطاق جذر ملفات robots.txt منفصلة. هذا يعني أنه يجب أن يكون لكل من blog.example.com و example.com ملفات robots.txt الخاصة بهم (على blog.example.com/robots.txt و example.com/robots.txt).

مدونة بلوجر,مدونة blogger,blogger مدونة,بلوجر مدونة,ما هو الاعلام الالكتروني,تعريف الاعلام الالكتروني,بحث حول الاعلام الالكتروني,تصميم مواقع الانترنت,شركة استضافة مجانية,تصميم موقع على الانترنت مجاناً,استضافة موقع الكتروني مجاني,افضل موقع استضافة مجاني,افضل شركات استضافة المواقع مجانية,تصميم موقع على الانترنت مجاني,استضافة موقع الكتروني,بلوجر معنى,بلوجر قوالب,بلوجر apk,بلوجر يعني ايه,بلوجر يوتيوب بلوغر,بلوجر ووردبريس مجاني,هل بلوجر مجاني,نقل بلوجر إلى ووردبريس,نماذج بلوجر معربة,بلوجر مدونة,بلوجر مصريين,بلوجر لبنانية,بلوجر للمبتدئين,بلوجر للربح,بلوجر للبيع,بلوقر ليبيات,بلوقر كويتيه,blogger جوجل,بلوجر صفحة بيضاء,ضبط بلوجر,بلوجر شهد,جلب زوار بلوجر,ربط بلوجر بادسنس,ربط بلوجر بدومين مجاني,bloggerربح,خلفيات بلوجر