نقشهٔ سایت برای خزندهها (sitemap.xml) و قواعد ورود/خروج آنها (robots.txt). اگر تازه با این موضوع آشنا شدهاید، این صفحه دقیقاً برای شما نوشته شده است؛ بدون فرضِ دانش قبلی. ابزار سادهای که موجب میشود گوگل همهٔ صفحات مهم فارسی شما پیدا کند و وقتش را روی صفحات بیارزش تلف نکند.
چرا مبتدیها گیج میشوند؟
چون بیشتر راهنماها برای کسانی نوشته شده که از قبل نیمی از مسیر را رفتهاند. ما در این صفحه از همان نقطهٔ صفر شروع میکنیم: نقشهٔ سایت برای خزندهها (sitemap.xml) و قواعد ورود/خروج آنها (robots.txt).
پنج قدم اولِ شما
- مسئله را در یک جمله برای خودتان تعریف کنید
- از سادهترین منبع شروع کنید: XML Sitemap Generator
- سایتمپ XML خودکار و بهروز؛ هر صفحهٔ ایندکسی یک URL، با lastmod درست.
- در robots.txt صفحات خصوصی، جستوجو و پنل ادمین را disallow کنید و سایتمپ را معرفی کنید.
- نسخههای تکراری (پارامترها، صفحاتبندی بیارزش) را با canonical مدیریت کنید نه با حذف عجولانه.
واژههایی که باید بشناسید
- سایتمپ و Robots.txt؛ در یک جمله: نقشهٔ سایت برای خزندهها (sitemap.xml) و قواعد ورود/خروج آنها (robots.txt).
- سایتمپ لازم است — سایت کوچک هم بهرش میبرد؛ برای کشف سریع و کامل
- noindex در robots بگذارم — نه! robots برای دسترسی است؛ noindex متا است و باید دیده شود تا اجرا شود.
سه نصیحت طلایی برای شروع
- بعد از هر تغییر ساختاری، سایتمپ را در کنسول سابمیت و وضعیت را چک کنید.
- سایتمپ تصویر و ویدیو را برای محتوای بصری اضافه کنید.
چیزهایی که لازم نیست نگرانشان باشید
مبتدیها معمولاً این نگرانیها را دارند و وقتشان را میگیرد:
- نگرانی «قرار دادن URLهای noindex داخل سایتمپ (سیگنال متناقض)» — معمولاً درست نیست و فقط شروع را عقب میاندازد
- نگرانی «lastmod همیشه «امروز»؛ گوگل یاد میگیرد بیاعتبار است» — معمولاً درست نیست و فقط شروع را عقب میاندازد
- نگرانی «بلاک کردن اشتباه CSS/JS در robots — رندر صفحه خراب میشود» — معمولاً درست نیست و فقط شروع را عقب میاندازد
منابع سادهٔ شروع
| منبع / ابزار | چه استفادهای؟ |
|---|---|
| XML Sitemap Generator | تولید سریع (وردپرس: خودکار) |
| robots.txt Tester | اعتبارسنجی قواعد |
| Search Console (Sitemaps) | ثبت و مانیتورینگ |
| Screaming Frog | بررسی lastmod واقعی |
پرسشهای خودِ مبتدیها
سایتمپ لازم است؟
سایت کوچک هم بهرش میبرد؛ برای کشف سریع و کامل، بله.
noindex در robots بگذارم؟
نه! robots برای دسترسی است؛ noindex متا است و باید دیده شود تا اجرا شود.
چند سایتمپ؟
بالای ۵۰ هزار URL یا تفکیک نوع محتوا: سایتمپ ایندکس بزنید.
جمعبندی
سایتمپ و Robots.txt را وقتی درست به کار بگیرید، هم زمان میدهد و هم کیفیت. مسیر ساده بود: شروع کنید، اندازه بگیرید و اصلاح کنید. اگر همین امروز دو سه مورد از این فهرست را اجرا کنید، تفاوت را در هفتههای بعد خواهید دید.
دیدگاهها
۰ دیدگاههنوز دیدگاهی ثبت نشده؛ اولین نفر باشید.