كثيرا ما نسمع كلمة روبوت.txt وربما لا تعرف ماهو؟ وفيما يفيد؟ هذا ما سنجيب عليه خلال هذه التدوينة التي تندرج ضمن دروس السيو.
ما هي ملفات الروبوت.txt؟
هي ملفات يتم عن طريقها إنذار محرك البحث، بأن لايعرض صفحة ما من موقعك، ربما لأسباب خاصة للحماية مثلا، أو أن هنالك صفحة لازالت قيد الإنشاء، فهنالك روبوتات هي المسؤولة عن كل ما تراه الآن عندما تقوم بالبحث في محرك البحث سواء جوجل أو ياهوو أو بينغ... هته الأخيرة (الروبوتات) هي من تقوم بعرض الصفحات، وترتيبها، لهذا فأنت تقوم بإنذارها لكي لاتعرض لك هذا المحتوى!
كيف ذلك؟
عن طريق كتابة أسطر بسيطة تفهمها هته الروبوتات. وبالنسبة لطريقة إضافتها لمدونات بلوجر، فقد تطرقنا إلى الكيفية في الدرس المشروح بالفيديو، أما مدونات الووردبريس، أو غير ذلك.. فعليك بإنشاء ملف صغير تحت اسمrobots وبامتداد .txt وتدخل عليه التعديلات والأكواد اللازمة وتقوم برفع هذا الملف على الاستضافة.
دعونا الآن نشرح الأكواد:
user-agent : تعني الروبوت الذي سوف تمكنه، أو لا تمكنه من الوصول إلى النتيجة.
* : تعني جميع الروبوتات الخاصة بجميع محركات البحث.
Disallow : يعني عدم التمكين للوصول إلى النتائج.
Allow: تعني التمكين للوصول إلى النتائج .
لكي نفهم أكثر، لنمر إلى المثال :
ما قمنا بفعله في الفيديو هو أننا أضفنا هته الأسطر:
user-agent: *
Allow : /
في السطر الأول قلنا لمحرك البحث، بأن يقوم بضم جميع الروبوتات، وفي السطر الثاني قلنا له بأن يمكنهم من الوصول إلى جميع الأقسام بدون استثناء.
لنأخذ مثالا آخر، لديك مدونة على الووردبريس، لديك قسم لا تريد عرضه على جميع محركات البحث! هذا القسم هو قسم خاص بالاختراق مثلا (hacking).
كل ما عليك فعله هو:
user-agent: *
Disallow : /hacking/
ولحجب جميع المحتويات عن جميع الروبوتات الطريقة جد سهلة وبسيطة، ماعليك إلا بعكس ما قمنا به سابقا:
user-agent: *
Disallow: /
ووجب عليك أن تعرف أخي الكريم، أنه لكل محرك بحث روبوت خاص به فلجوجل روبوت يدعى googlebot، ولكي نحجب عنه المحتوى كل ماعليك فعله هو تغيير * بgooglebot أو باسم الروبوت الذي لا تريد أن يصل إلى نتيجتك.
إرسال تعليق