سهم زمانی که گوگلبات برای سایت شما میگذارد؛ مدیریت هوشمند آن بهسوی صفحات ارزشمند. اگر حوصلهٔ راهنماهای بلند را ندارید، این نوشته برای شماست: یک مسیر ۱۵ دقیقهای از صفر تا اولین نتیجهٔ واقعی. سایتهای فارسی بزرگ بدون مدیریت بودجهٔ خزش، صفحات مهم را دیر و کم ایندکس میکنند.
آمادهسازی (۲ دقیقه)
قبل از هر چیز اینها را آماده کنید:
- یک هدف کوچک و مشخص برای همین امروز
- منبع یا ابزار اصلی: Screaming Frog را باز کنید
- یک یادداشت برای ثبت نکتهها
قدمهای اصلی (۱۰ دقیقه)
- URLهای بیارزش را noindex یا از لینکداخلی حذف کنید
- زنجیرههای ریدایرکت را کوتاه کنید
- خطاهای 5xx/4xx را سریع صفر کنید
- سرعت پاسخ سرور را بالا ببرید (خزندهٔ سریعتر = صفحات بیشتر)
بعد از شروع چه کنیم؟ (۳ دقیقه)
- نتیجهٔ کوچک امروز را ثبت کنید
- یکی از نکتههای پیشرفته را برای فردا انتخاب کنید
- این صفحه را نشانهگذاری کنید
مسیر ادامهٔ راه
وقتی اولین نتیجه را گرفتید، سراغ اینها بروید:
- با sitemap، اولویت کشف را هدایت کنید
مراقب این اشتباهات باشید
- بلاککردن agresive با robots (صفحات مهم هم بلاک میشوند)
- بیتوجهی به پارامترهای بینهایت (تقویمها/فیلترها)
- انتظار کنترل کامل؛ بودجه را هدایت میکنیم نه دیکته
پرسشهای شروع
بودجهٔ خزش کی مسئله میشود؟
از دهها هزار URL به بالا و/یا سایتهای با نرخ تغییر بالا؛ کوچکترها مشکل کمتری دارند.
آمار کجا ببینم؟
Settings → Crawl Stats در سرچ کنسول؛ تعداد درخواست، وضعیت و تاریخچه.
robots برای فایلهای JS/CSS؟
هرگز نبلاک؛ رندر درست صفحه به آنها وابسته است.
جمعبندی
در این نوشته تلاش کردیم تصویری واقعبینانه و کاربردی از بودجهٔ خزش و بهینهسازی آن ارائه کنیم. قدم بعدی با شماست: یکی از نکتههای همین صفحه را انتخاب کنید و همین امروز اجرایش کنید.
دیدگاهها
۰ دیدگاههنوز دیدگاهی ثبت نشده؛ اولین نفر باشید.