سایت‌مپ و Robots.txt؛ نکته‌هایی که معمولاً دیر یاد می‌گیریم

فهرست مطالب (5 بخش)

نقشهٔ سایت برای خزنده‌ها (sitemap.xml) و قواعد ورود/خروج آنها (robots.txt). تفاوت کاربر معمولی و حرفه‌ای، در دانستن همین نکته‌های ریز است. ابزار ساده‌ای که موجب می‌شود گوگل همهٔ صفحات مهم فارسی شما پیدا کند و وقتش را روی صفحات بی‌ارزش تلف نکند. این‌ها را جایی جمع نکرده‌اید چون معمولاً در تجربه‌های واقعی پنهان می‌مانند.

نکته‌هایی که تجربه ساخته است

نکتهٔ 1

سایت‌مپ XML خودکار و به‌روز؛ هر صفحهٔ ایندکسی یک URL، با lastmod درست.

نکتهٔ 2

در robots.txt صفحات خصوصی، جست‌وجو و پنل ادمین را disallow کنید و سایت‌مپ را معرفی کنید.

نکتهٔ 3

نسخه‌های تکراری (پارامترها، صفحاتبندی بی‌ارزش) را با canonical مدیریت کنید نه با حذف عجولانه.

نکتهٔ 4

بعد از هر تغییر ساختاری، سایت‌مپ را در کنسول سابمیت و وضعیت را چک کنید.

نکتهٔ 5

سایت‌مپ تصویر و ویدیو را برای محتوای بصری اضافه کنید.

یادآوری مهم: سایت‌مپ تصویر و ویدیو را برای محتوای بصری اضافه کنید.

منابع کمکی این نکته‌ها

منبع / ابزار چه استفاده‌ای؟
XML Sitemap Generator تولید سریع (وردپرس: خودکار)
robots.txt Tester اعتبارسنجی قواعد
Search Console (Sitemaps) ثبت و مانیتورینگ
Screaming Frog بررسی lastmod واقعی

دام‌های مسیر

  • قرار دادن URLهای noindex داخل سایت‌مپ (سیگنال متناقض).
  • lastmod همیشه «امروز»؛ گوگل یاد می‌گیرد بی‌اعتبار است.
  • بلاک کردن اشتباه CSS/JS در robots — رندر صفحه خراب می‌شود.

پرسش‌های رایج در این مسیر

سایت‌مپ لازم است؟

سایت کوچک هم بهرش می‌برد؛ برای کشف سریع و کامل، بله.

noindex در robots بگذارم؟

نه! robots برای دسترسی است؛ noindex متا است و باید دیده شود تا اجرا شود.

چند سایت‌مپ؟

بالای ۵۰ هزار URL یا تفکیک نوع محتوا: سایت‌مپ ایندکس بزنید.

جمع‌بندی

سایت‌مپ و Robots.txt را وقتی درست به کار بگیرید، هم زمان می‌دهد و هم کیفیت. مسیر ساده بود: شروع کنید، اندازه بگیرید و اصلاح کنید. اگر همین امروز دو سه مورد از این فهرست را اجرا کنید، تفاوت را در هفته‌های بعد خواهید دید.

حامد لطف

طراح و توسعه‌دهندهٔ وب؛ تجربهٔ ساخت پرتال‌ها، فروشگاه‌ها و پلتفرم‌های آموزشی. اینجا تجربه‌های واقعی کار را می‌نویسم — از طراحی و کد تا سئو و ابزارها.

پروژه دارم ↖
SPONSORED · تبلیغ

آموزش رایگان + سرمایه ترید

آموزش کاملا رایگان سیستم محور فارکس , کریپتو و بورس ایران همراه با سرمایه ترید

شروع رایگان ↖

دیدگاه‌ها

۰ دیدگاه

هنوز دیدگاهی ثبت نشده؛ اولین نفر باشید.

دیدگاه خود را بنویسید

نظرات پس از بررسی منتشر می‌شوند؛ ایمیل شما هیچ‌جایی نمایش داده نمی‌شود.
ادامهٔ مسیر

بیشتر بخوانید.

همهٔ «سئو و رشد» ↖
سئو و رشد

این اشتباهات را در سایت‌مپ و Robots.txt نکنید

نقشهٔ سایت برای خزنده‌ها (sitemap.xml) و قواعد ورود/خروج آنها (robots.txt). ابزار ساده‌ای که موجب می‌شود گوگل همهٔ صفحات مهم فارسی شما پیدا کند و وقتش را روی صفحات بی‌ارزش تلف نکند. اشتباهات رایج — در بلاگ حامد لطف.

۱ تیر۲ دقیقه مطالعه