أنشئ ملف robots.txt من قوالب جاهزة، ثم افحص ما يفعله كل سطر فعلًا
يعمل في متصفحك. لا يُرسل أي شيء تكتبه إلى أي مكان.يتحكم ملف robots.txt فيما يمكن للزاحف جلبه، وسطر واحد خاطئ قد يخفي موقعًا كاملًا. أنشئه من القوالب، ثم افحص ما تفعله كل قاعدة فعلًا مع عنوان URL تكتبه. تُختبر مباشرة التوجيهتان الأهم، Allow وDisallow.
تُرجمت هذه الصفحة آليًا من الأصل الإنجليزي. لم يراجع أي شخص هذه الترجمة بعد، لذا فالنسخة الإنجليزية هي التي يُعتمد عليها. اقرأ الأصل الإنجليزي
اضغط خيارًا تحت «قالب»، مثل «موقع نموذجي» أو «WordPress»، لتبدأ من قواعد شائعة.
في كل مجموعة، اكتب User-agents والمسارات تحت Disallow وAllow، مسارًا في كل سطر.
اضغط «إضافة مجموعة» لزاحف يحتاج إلى قواعد مختلفة.
أضف خريطة موقعك تحت «عناوين خرائط الموقع»، عنوانًا في كل سطر.
اضغط «نسخ»، أو نزّل robots.txt وارفعه إلى جذر موقعك.
يبني مولّد robots.txt هذا الملف قاعدة بعد قاعدة: مجموعة لكل زاحف، ومسارات allow وdisallow، وتأخير الزحف حيث يُحترم، وأسطر sitemap. ابدأ من قالب، أو الصق ملفًا لديك واقرأ بكلمات بسيطة ما يفعله كل سطر فعلًا.
تغطي القوالب ما يأتي الناس من أجله. السماح بكل شيء، وهو أيضًا ما يعنيه عدم وجود ملف أصلًا. حظر كل شيء، لنسخة تجريبية يجب ألا تنافس الموقع الحي أبدًا. موقع نموذجي يُبعد سلال الشراء وصفحات الإدارة ونتائج البحث الداخلي. وملف يرحب بزواحف البحث ويطلب من زواحف تدريب النماذج البقاء خارجًا، كل منها مسمّى بالرمز الذي ينشره مشغّله.
الفاحص هو الجزء الذي يحتاجه معظم الناس. فهو يكتشف مسارًا بلا شرطة مائلة في بدايته، وقاعدة تقع فوق سطر User-agent الخاص بها فلا تنطبق على أحد، وعنوان خريطة موقع نسبيًا، وسطر Noindex توقفت Google عن قراءته عام 2019، وCrawl-delay تحت مجموعة تتجاهله.
أمر يستحق المعرفة قبل أن تحظر أي شيء: يمنع robots.txt قراءة الصفحة، لا إدراجها. فالعنوان الموجود في الفهرس قد يبقى كرابط مجرد. وللصفحة التي يجب أن تختفي، اسمح بالزحف وقدّم وسم noindex. أدوات ذات صلة: Sitemap Generator وMeta Tag Generator.
في جذر النطاق، على العنوان https://example.com/robots.txt، ويُقدَّم كنص عادي. ينطبق على ذلك المضيف والمنفذ فقط، لذا يحتاج النطاق الفرعي إلى ملفه الخاص. لا تبحث الزواحف في أي مكان آخر، ويُتجاهل الملف الموجود في مجلد فرعي.
لا. إنه يمنع قراءة الصفحة. يمكن أن يظل العنوان المحظور مدرجًا كرابط مجرد بلا وصف، لأن الزاحف لا يجلب الصفحة أبدًا فلا يرى وسم noindex. لإزالة صفحة من النتائج، اسمح بالزحف وأضف وسم robots التعريفي.
سطران: User-agent: * ثم Disallow: /. هذا هو الملف الصحيح لنسخة تجريبية. أما على موقع حي فيُذهب حركة زوارك خلال أيام، لذا تحقق من البيئة التي تعدّلها قبل النشر.
فقط مع الزواحف التي تختار قراءة الملف. تنشر GPTBot وClaudeBot وGoogle-Extended وApplebot-Extended وCCBot وPerplexityBot رموزها وتعلن أنها تلتزم بـ robots.txt. أما أداة الكشط التي تتجاهل الملف فلا تتأثر، وrobots.txt ليس وسيلة أمان.
لا. يتجاهل Googlebot قيمة Crawl-delay تمامًا ويحدد معدله بنفسه، ويمكنك خفضه في Search Console. أما Bing وYandex وSeznam فتحترمها. والقيمة الأعلى من نحو 30 ثانية تعني أن الموقع الكبير لن يُزحف بالكامل أبدًا.
سطر Sitemap ليس إلزاميًا، لكنه أرخص طريقة لإخبار كل زاحف بمكان قائمة عناوين URL لديك، بما في ذلك الزواحف التي لا ترسل إليها شيئًا أبدًا. استخدم العنوان الكامل، واكتب سطرًا لكل خريطة موقع، وضعها في نهاية الملف.
هل ما زلت عالقًا؟ اسأل عن مولّد ملف robots.txt ويمكن لأي شخص يعرف الإجابة أن يجيب. لا حاجة إلى حساب.