نقشهٔ سایت برای خزندهها (sitemap.xml) و قواعد ورود/خروج آنها (robots.txt). اما واقعیت این است که بیشتر کاربران — حتی با بهترین نیت — دچار اشتباهات تکراری میشوند که هم زمان میسوزاند و هم نتیجه را خراب میکند. در این نوشته، رایجترین این اشتباهات را با راهحل عملی هرکدام مرور میکنیم.
چرا این اشتباهات آنقدر رایجاند؟
چون طبیعیاند! ابزار سادهای که موجب میشود گوگل همهٔ صفحات مهم فارسی شما پیدا کند و وقتش را روی صفحات بیارزش تلف نکند. وقتی ابزاری اینقدر کاربرد دارد، استفادهٔ ناقص از آن هم اجتنابناپذیر میشود. خبر خوب این است که هر اشتباه، یک راهحل ساده دارد.
فهرست اشتباهات و راهحلها
اشتباه 1: قرار دادن URLهای noindex داخل سایتمپ (سیگنال متناقض)
راهحل: سایتمپ XML خودکار و بهروز؛ هر صفحهٔ ایندکسی یک URL، با lastmod درست.
اشتباه 2: lastmod همیشه «امروز»؛ گوگل یاد میگیرد بیاعتبار است
راهحل: در robots.txt صفحات خصوصی، جستوجو و پنل ادمین را disallow کنید و سایتمپ را معرفی کنید.
اشتباه 3: بلاک کردن اشتباه CSS/JS در robots — رندر صفحه خراب میشود
راهحل: نسخههای تکراری (پارامترها، صفحاتبندی بیارزش) را با canonical مدیریت کنید نه با حذف عجولانه.
نکتههای پیشگیرانه
بهجای درمان، پیشگیری کنید:
- سایتمپ XML خودکار و بهروز؛ هر صفحهٔ ایندکسی یک URL، با lastmod درست.
- در robots.txt صفحات خصوصی، جستوجو و پنل ادمین را disallow کنید و سایتمپ را معرفی کنید.
- نسخههای تکراری (پارامترها، صفحاتبندی بیارزش) را با canonical مدیریت کنید نه با حذف عجولانه.
- بعد از هر تغییر ساختاری، سایتمپ را در کنسول سابمیت و وضعیت را چک کنید.
چکلیست سلامت
قبل از اینکه کار جدیتان را ادامه بدهید، این سه سؤال را از خودتان بپرسید:
- آیا اساس کار را درست فهمیدهام؟ (نقشهٔ سایت برای خزندهها (sitemap.xml) و قواعد ورود/خروج آنها (robots.txt).)
- آیا مسیرم را اندازهگیری میکنم یا حدس میزنم؟
- آیا یکی از اشتباهات بالا را تکرار میکنم؟
پرسشهای رایج کاربران
سایتمپ لازم است؟
سایت کوچک هم بهرش میبرد؛ برای کشف سریع و کامل، بله.
noindex در robots بگذارم؟
نه! robots برای دسترسی است؛ noindex متا است و باید دیده شود تا اجرا شود.
چند سایتمپ؟
بالای ۵۰ هزار URL یا تفکیک نوع محتوا: سایتمپ ایندکس بزنید.
جمعبندی
سایتمپ و Robots.txt ابزاری است که وقتی درست به کار گرفته شود، کیفیت کار را بالا میبرد و زمان را آزاد میکند. نکتهٔ کلیدی این نوشته ساده بود: شروع کنید، اندازهگیری کنید و مسیرتان را اصلاح کنید. اگر فقط دو سه مورد از همین فهرست را همین هفته اجرا کنید، تفاوت را در کار روزمرهٔ خودتان میبینید.
دیدگاهها
۰ دیدگاههنوز دیدگاهی ثبت نشده؛ اولین نفر باشید.