نقشهٔ سایت برای خزندهها (sitemap.xml) و قواعد ورود/خروج آنها (robots.txt). در این آموزش، مسیر را به گامهای کوچک و قابلاجرا شکستهایم تا بدون سردرگمی پیش بروید. ابزار سادهای که موجب میشود گوگل همهٔ صفحات مهم فارسی شما پیدا کند و وقتش را روی صفحات بیارزش تلف نکند.
قبل از شروع چه چیزهایی لازم دارید؟
- ده تا پانزده دقیقه وقتِ بدون وقفه برای مطالعهٔ این صفحه
- دسترسی به منبع اصلی: Screaming Frog
- یک یادداشت برای ثبت گامهایی که انجام میدهید
گامهای اصلی
مسیر پیشنهادی به ترتیب زیر است؛ هر گام را کامل کنید و بعد سراغ بعدی بروید:
- سایتمپ XML خودکار و بهروز؛ هر صفحهٔ ایندکسی یک URL، با lastmod درست.
- در robots.txt صفحات خصوصی، جستوجو و پنل ادمین را disallow کنید و سایتمپ را معرفی کنید.
- نسخههای تکراری (پارامترها، صفحاتبندی بیارزش) را با canonical مدیریت کنید نه با حذف عجولانه.
این سه گام، ستون فقرات کار است؛ باقی مسیر تکرار و بهبود همین سه گام است.
گامهای تکمیلی
وقتی پایه را ساختید، این موارد نتیجه را چند برابر میکند:
- بعد از هر تغییر ساختاری، سایتمپ را در کنسول سابمیت و وضعیت را چک کنید.
- سایتمپ تصویر و ویدیو را برای محتوای بصری اضافه کنید.
اگر گیر کردید
هر کس در این مسیر گیر میکند؛ تفاوت در واکنش است:
- به جای شروع دوباره از صفر، فقط همان گامِ گیرکرده را مرور کنید
- مشکل را جستوجو کنید؛ احتمالاً قبلاً کسی همان سؤال را پرسیده (noindex در robots بگذارم پرسش رایجی است)
- از منابع معرفیشده در ادامه کمک بگیرید
ابزارها و منابع مسیر
| منبع / ابزار | چه استفادهای؟ |
|---|---|
| XML Sitemap Generator | تولید سریع (وردپرس: خودکار) |
| robots.txt Tester | اعتبارسنجی قواعد |
| Search Console (Sitemaps) | ثبت و مانیتورینگ |
| Screaming Frog | بررسی lastmod واقعی |
اشتباهاتی که مسیر را کج میکنند
- قرار دادن URLهای noindex داخل سایتمپ (سیگنال متناقض).
- lastmod همیشه «امروز»؛ گوگل یاد میگیرد بیاعتبار است.
- بلاک کردن اشتباه CSS/JS در robots — رندر صفحه خراب میشود.
پرسشهای رایج در حین یادگیری
سایتمپ لازم است؟
سایت کوچک هم بهرش میبرد؛ برای کشف سریع و کامل، بله.
noindex در robots بگذارم؟
نه! robots برای دسترسی است؛ noindex متا است و باید دیده شود تا اجرا شود.
چند سایتمپ؟
بالای ۵۰ هزار URL یا تفکیک نوع محتوا: سایتمپ ایندکس بزنید.
حرف آخر
نکتهٔ اصلی این نوشته دربارهٔ سایتمپ و Robots.txt ساده بود: کوچک شروع کنید، منظم ادامه بدهید و از تجربهٔ دیگران عبور کنید. این صفحه را نشانهگذاری کنید؛ فهرستها وقتی دوباره خوانده شوند، نیمی از ارزششان را برمیگردانند.
دیدگاهها
۰ دیدگاههنوز دیدگاهی ثبت نشده؛ اولین نفر باشید.