প্রিসেট দিয়ে robots.txt তৈরি করুন, তারপর প্রতিটি লাইন আসলে কী করে তা যাচাই করুন
আপনার ব্রাউজারে চলে। আপনি যা লেখেন তা কোথাও পাঠানো হয় না।একটি robots.txt ঠিক করে একটি ক্রলার কী আনতে পারবে, আর একটি ভুল লাইন পুরো সাইট লুকিয়ে ফেলতে পারে। প্রিসেট থেকে একটি তৈরি করুন, তারপর আপনার লেখা একটি URL-এর বিপরীতে প্রতিটি নিয়ম আসলে কী করে তা যাচাই করুন। সবচেয়ে গুরুত্বপূর্ণ 2টি নির্দেশনা, Allow ও Disallow, লাইভ পরীক্ষা করা হয়।
এই পৃষ্ঠাটি ইংরেজি মূল লেখা থেকে যন্ত্রের সাহায্যে অনুবাদ করা হয়েছে। এই অনুবাদটি এখনও কোনো মানুষ পর্যালোচনা করেননি, তাই ইংরেজি সংস্করণটিকেই নির্ভরযোগ্য ধরুন। ইংরেজি মূল লেখাটি পড়ুন
সাধারণ নিয়ম দিয়ে শুরু করতে প্রিসেট-এর নিচে একটি অপশন চাপুন, যেমন সাধারণ সাইট বা WordPress।
প্রতিটি গ্রুপে User-agents এবং Disallow ও Allow-এর নিচে পাথগুলো লিখুন, প্রতি লাইনে একটি।
যে ক্রলারের আলাদা নিয়ম দরকার তার জন্য একটি গ্রুপ যোগ করুন চাপুন।
সাইটম্যাপ ঠিকানা-র নিচে আপনার সাইটম্যাপ যোগ করুন, প্রতি লাইনে একটি।
কপি করুন চাপুন, অথবা robots.txt ডাউনলোড করে আপনার সাইটের রুটে আপলোড করুন।
এই robots.txt জেনারেটর নিয়ম ধরে ধরে ফাইলটি তৈরি করে: প্রতি ক্রলারের জন্য একটি গ্রুপ, allow ও disallow পাথ, যেখানে মানা হয় সেখানে একটি crawl delay, এবং sitemap লাইন। একটি প্রিসেট দিয়ে শুরু করুন, অথবা আপনার কাছে থাকা ফাইল পেস্ট করে সহজ ভাষায় পড়ুন প্রতিটি লাইন আসলে কী করে।
প্রিসেটগুলো সেই কাজগুলো কভার করে যার জন্য মানুষ আসে। সব অনুমতি দিন, যার মানে একেবারে কোনো ফাইল না থাকাও। সব ব্লক করুন, এমন একটি স্টেজিং কপির জন্য যা কখনো লাইভ সাইটের সঙ্গে প্রতিযোগিতা করবে না। একটি সাধারণ সাইট, যা কার্ট, অ্যাডমিন পেজ ও অভ্যন্তরীণ সার্চ ফলাফল বাইরে রাখে। আর এমন একটি ফাইল যা সার্চ ক্রলারদের স্বাগত জানায় কিন্তু মডেল প্রশিক্ষণের ক্রলারদের বাইরে থাকতে বলে, প্রত্যেকটির নাম তার পরিচালকের প্রকাশিত টোকেন দিয়ে।
যাচাইকারী অংশটিই বেশিরভাগ মানুষের দরকার। এটি ধরে ফেলে শুরুতে স্ল্যাশ ছাড়া পাথ, নিজের User-agent লাইনের উপরে থাকা একটি নিয়ম যা তাই কারও ওপর প্রযোজ্য নয়, রিলেটিভ সাইটম্যাপ ঠিকানা, এমন একটি Noindex লাইন যা Google 2019 সালে পড়া বন্ধ করেছে, এবং এমন গ্রুপের নিচে Crawl-delay যা সেটি উপেক্ষা করে।
কিছু ব্লক করার আগে একটি কথা জানা দরকার: robots.txt একটি পেজ পড়া থামায়, তালিকায় আসা নয়। ইতিমধ্যে ইনডেক্সে থাকা একটি ঠিকানা খালি লিংক হিসেবে থেকে যেতে পারে। যে পেজটি সরাতেই হবে, তার জন্য ক্রল করার অনুমতি দিন এবং একটি noindex ট্যাগ দিন। সম্পর্কিত টুল: Sitemap Generator ও Meta Tag Generator।
ডোমেনের রুটে, https://example.com/robots.txt ঠিকানায়, সাধারণ টেক্সট হিসেবে। এটি শুধু সেই হোস্ট ও পোর্টে প্রযোজ্য, তাই একটি সাবডোমেনের নিজস্ব ফাইল লাগে। ক্রলাররা আর কোথাও খোঁজে না, এবং সাবফোল্ডারে রাখা ফাইল উপেক্ষা করা হয়।
না। এটি পেজটি পড়া থামায়। একটি ব্লক করা ঠিকানা বিবরণ ছাড়া খালি লিংক হিসেবে তালিকায় থেকে যেতে পারে, কারণ ক্রলার কখনো পেজটি আনে না এবং তাই কখনো noindex ট্যাগ দেখে না। ফলাফল থেকে একটি পেজ সরাতে ক্রল করার অনুমতি দিন এবং একটি robots মেটা ট্যাগ যোগ করুন।
দুটি লাইন: User-agent: * তারপর Disallow: /। স্টেজিং কপির জন্য এটিই সঠিক ফাইল। লাইভ সাইটে এটি কয়েক দিনের মধ্যে আপনার ট্রাফিক সরিয়ে দেয়, তাই ডিপ্লয়ের আগে কোন এনভায়রনমেন্ট সম্পাদনা করছেন তা যাচাই করুন।
শুধু সেই ক্রলারদের জন্য যারা ফাইলটি পড়তে চায়। GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot ও PerplexityBot সবাই টোকেন প্রকাশ করে এবং বলে যে তারা robots.txt মানে। যে স্ক্র্যাপার ফাইলটি উপেক্ষা করে তার ওপর প্রভাব পড়ে না, আর robots.txt কোনো নিরাপত্তা ব্যবস্থা নয়।
না। Googlebot Crawl-delay পুরোপুরি উপেক্ষা করে এবং নিজের হার ঠিক করে, যা আপনি Search Console-এ কমাতে পারেন। Bing, Yandex ও Seznam এটি মানে। প্রায় 30 সেকেন্ডের বেশি মানের অর্থ একটি বড় সাইট কখনো পুরোপুরি ক্রল হবে না।
Sitemap লাইন বাধ্যতামূলক নয়, কিন্তু প্রতিটি ক্রলারকে আপনার URL তালিকা কোথায় তা জানানোর সবচেয়ে সস্তা উপায়, এমনকি যাদের কাছে আপনি কিছুই জমা দেন না তাদেরও। পুরো ঠিকানা ব্যবহার করুন, প্রতি সাইটম্যাপে একটি লাইন লিখুন, এবং সেগুলো ফাইলের শেষে রাখুন।
এখনও আটকে আছেন? Robots.txt জেনারেটর সম্পর্কে প্রশ্ন করুন আর যিনি জানেন তিনিই উত্তর দিতে পারেন। কোনো অ্যাকাউন্ট লাগবে না।