نقشهٔ سایت برای خزندهها (sitemap.xml) و قواعد ورود/خروج آنها (robots.txt). ابزار سادهای که موجب میشود گوگل همهٔ صفحات مهم فارسی شما پیدا کند و وقتش را روی صفحات بیارزش تلف نکند. این نوشته را به شکل پرسشوپاسخ تنظیم کردهایم تا دقیقاً همان چیزی را بخوانید که لازم دارید — از سؤالهای ساده تا نکتههای پیشرفته.
پرسشهای اصلی
سایتمپ لازم است؟
سایت کوچک هم بهرش میبرد؛ برای کشف سریع و کامل، بله.
noindex در robots بگذارم؟
نه! robots برای دسترسی است؛ noindex متا است و باید دیده شود تا اجرا شود.
چند سایتمپ؟
بالای ۵۰ هزار URL یا تفکیک نوع محتوا: سایتمپ ایندکس بزنید.
چرا اصلاً باید این موضوع را جدی بگیرم؟
ابزار سادهای که موجب میشود گوگل همهٔ صفحات مهم فارسی شما پیدا کند و وقتش را روی صفحات بیارزش تلف نکند. دنیا به سمتی میرود که این دانشها از «مزیت» به «پیشفرض» تبدیل میشوند؛ زود شروع کردن همیشه ارزانتر است.
از کجا شروع کنم؟
از همین فهرست:
- سایتمپ XML خودکار و بهروز؛ هر صفحهٔ ایندکسی یک URL، با lastmod درست.
- در robots.txt صفحات خصوصی، جستوجو و پنل ادمین را disallow کنید و سایتمپ را معرفی کنید.
- نسخههای تکراری (پارامترها، صفحاتبندی بیارزش) را با canonical مدیریت کنید نه با حذف عجولانه.
- بعد از هر تغییر ساختاری، سایتمپ را در کنسول سابمیت و وضعیت را چک کنید.
نکتههای تکمیلی
- سایتمپ تصویر و ویدیو را برای محتوای بصری اضافه کنید.
منابع پیشنهادی برای عمیقتر شدن
| منبع / ابزار | چه استفادهای؟ |
|---|---|
| XML Sitemap Generator | تولید سریع (وردپرس: خودکار) |
| robots.txt Tester | اعتبارسنجی قواعد |
| Search Console (Sitemaps) | ثبت و مانیتورینگ |
| Screaming Frog | بررسی lastmod واقعی |
اشتباهاتی که در پاسخها پنهان ماند
- قرار دادن URLهای noindex داخل سایتمپ (سیگنال متناقض).
- lastmod همیشه «امروز»؛ گوگل یاد میگیرد بیاعتبار است.
- بلاک کردن اشتباه CSS/JS در robots — رندر صفحه خراب میشود.
حرف آخر
نکتهٔ اصلی این نوشته دربارهٔ سایتمپ و Robots.txt ساده بود: کوچک شروع کنید، منظم ادامه بدهید و از تجربهٔ دیگران عبور کنید. این صفحه را نشانهگذاری کنید؛ فهرستها وقتی دوباره خوانده شوند، نیمی از ارزششان را برمیگردانند.
دیدگاهها
۰ دیدگاههنوز دیدگاهی ثبت نشده؛ اولین نفر باشید.