نقشهٔ سایت برای خزندهها (sitemap.xml) و قواعد ورود/خروج آنها (robots.txt). برای نتیجهٔ خوب، به منابع و ابزارهای درست نیاز دارید. ابزار سادهای که موجب میشود گوگل همهٔ صفحات مهم فارسی شما پیدا کند و وقتش را روی صفحات بیارزش تلف نکند. در این نوشته، منابع آزموده را با کاربرد مشخص هرکدام معرفی میکنیم.
معیارهای انتخاب
قبل از فهرست، معیارها را بدانید تا انتخاب خودتان را بسنجید:
- سایتمپ XML خودکار و بهروز؛ هر صفحهٔ ایندکسی یک URL، با lastmod درست.
- در robots.txt صفحات خصوصی، جستوجو و پنل ادمین را disallow کنید و سایتمپ را معرفی کنید.
- نسخههای تکراری (پارامترها، صفحاتبندی بیارزش) را با canonical مدیریت کنید نه با حذف عجولانه.
معرفی منابع و ابزارها
| منبع / ابزار | چه استفادهای؟ |
|---|---|
| XML Sitemap Generator | تولید سریع (وردپرس: خودکار) |
| robots.txt Tester | اعتبارسنجی قواعد |
| Search Console (Sitemaps) | ثبت و مانیتورینگ |
| Screaming Frog | بررسی lastmod واقعی |
چطور برای خودتان انتخاب کنید؟
سه سؤال کوتاه، انتخاب را ساده میکند:
- چه مسئلهای را میخواهم حل کنم؟ (مسئله را بنویسید، نه ابزار را)
- چه سطحی از پیچیدگی را میپذیرم؟ (ساده و سریع یا حرفهای و انعطافپذیر)
- بودجه و زمان من چیست؟
اشتباهات رایج در انتخاب
- قرار دادن URLهای noindex داخل سایتمپ (سیگنال متناقض).
- lastmod همیشه «امروز»؛ گوگل یاد میگیرد بیاعتبار است.
- بلاک کردن اشتباه CSS/JS در robots — رندر صفحه خراب میشود.
نکتههای تکمیلی
- بعد از هر تغییر ساختاری، سایتمپ را در کنسول سابمیت و وضعیت را چک کنید.
- سایتمپ تصویر و ویدیو را برای محتوای بصری اضافه کنید.
پرسشهای پرتکرار دربارهٔ منابع
سایتمپ لازم است؟
سایت کوچک هم بهرش میبرد؛ برای کشف سریع و کامل، بله.
noindex در robots بگذارم؟
نه! robots برای دسترسی است؛ noindex متا است و باید دیده شود تا اجرا شود.
چند سایتمپ؟
بالای ۵۰ هزار URL یا تفکیک نوع محتوا: سایتمپ ایندکس بزنید.
جمعبندی
سایتمپ و Robots.txt را وقتی درست به کار بگیرید، هم زمان میدهد و هم کیفیت. مسیر ساده بود: شروع کنید، اندازه بگیرید و اصلاح کنید. اگر همین امروز دو سه مورد از این فهرست را اجرا کنید، تفاوت را در هفتههای بعد خواهید دید.
دیدگاهها
۰ دیدگاههنوز دیدگاهی ثبت نشده؛ اولین نفر باشید.