سهم زمانی که گوگلبات برای سایت شما میگذارد؛ مدیریت هوشمند آن بهسوی صفحات ارزشمند. این صفحه را مثل برگهٔ کنار دستتان ببینید: فهرستی از کارهایی که قبل، حین و بعد از سرِ کار باید انجام دهید. سایتهای فارسی بزرگ بدون مدیریت بودجهٔ خزش، صفحات مهم را دیر و کم ایندکس میکنند.
چکلیست قبل از شروع
- هدف دقیق را بنویسید: چه میخواهم از بودجهٔ خزش و بهینهسازی آن به دست بیاورم؟
- URLهای بیارزش را noindex یا از لینکداخلی حذف کنید
- زنجیرههای ریدایرکت را کوتاه کنید
چکلیست حین کار
- خطاهای 5xx/4xx را سریع صفر کنید
- سرعت پاسخ سرور را بالا ببرید (خزندهٔ سریعتر = صفحات بیشتر)
- با sitemap، اولویت کشف را هدایت کنید
چکلیست بعد از اتمام
- نتیجه را ثبت کنید تا دفعهٔ بعد از تجربهٔ خودتان شروع کنید
چکلیست منابع و ابزار
| منبع / ابزار | چه استفادهای؟ |
|---|---|
| Search Console/Crawl Stats | آمار رسمی خزش گوگل |
| Screaming Frog | شناسایی مسیرهای اتلاف |
| robots.txt | کنترل دسترسی خزنده |
| CDN/کش | پاسخ سریعتر |
خطاهایی که چکلیست از آنها جلوگیری میکند
- بلاککردن agresive با robots (صفحات مهم هم بلاک میشوند)
- بیتوجهی به پارامترهای بینهایت (تقویمها/فیلترها)
- انتظار کنترل کامل؛ بودجه را هدایت میکنیم نه دیکته
توصیه: این چکلیست را یکبار با دقت بخوانید و دفعهٔ بعد فقط از روی تیترها جلو بروید؛ بعد از سه بار تکرار، بخشی از عادت شما شده است.
پرسشهای پرتکرار
بودجهٔ خزش کی مسئله میشود؟
از دهها هزار URL به بالا و/یا سایتهای با نرخ تغییر بالا؛ کوچکترها مشکل کمتری دارند.
آمار کجا ببینم؟
Settings → Crawl Stats در سرچ کنسول؛ تعداد درخواست، وضعیت و تاریخچه.
robots برای فایلهای JS/CSS؟
هرگز نبلاک؛ رندر درست صفحه به آنها وابسته است.
جمعبندی
بودجهٔ خزش و بهینهسازی آن را وقتی درست به کار بگیرید، هم زمان میدهد و هم کیفیت. مسیر ساده بود: شروع کنید، اندازه بگیرید و اصلاح کنید. اگر همین امروز دو سه مورد از این فهرست را اجرا کنید، تفاوت را در هفتههای بعد خواهید دید.
دیدگاهها
۰ دیدگاههنوز دیدگاهی ثبت نشده؛ اولین نفر باشید.