🔧 بودجه کراول صفحات سایت توسط گوگل (در Google Search Console) توسط دو عنصر اصلی تعیین می‌شود: محدودیت ظرفیت کراول و تقاضای کراول. عوامل موثر بر این دو عنصر عبارتند از:
- 🚦 سلامت کراول: اگر سایت برای مدتی به سرعت پاسخ دهد، محدودیت افزایش می‌یابد، به این معنی که اتصالات بیشتری می‌توانند برای کراول استفاده شوند. اگر سایت کند شود یا با خطاهای سرور پاسخ دهد، محدودیت کاهش می‌یابد و گوگل‌بات کمتر کراول می‌کند. 🐢
- 🤖 محدودیت‌های کراول گوگل: گوگل دارای تعداد زیادی ماشین است، اما نه بی‌نهایت. ما هنوز نیاز داریم تا با منابعی که داریم، انتخاب‌هایی انجام دهیم. 🛠️
- 📊 موجودی درک شده: بدون راهنمایی از طرف شما، گوگل‌بات تلاش می‌کند تا تمام یا اکثر URLهایی که در مورد سایت شما می‌داند را کراول کند. اگر بسیاری از این URLها تکراری باشند، یا به دلیلی دیگر نمی‌خواهید آن‌ها کراول شوند (حذف شده‌اند، مهم نیستند و غیره)، این امر زمان زیادی از کراول گوگل در سایت شما را تلف می‌کند. این عاملی است که شما بیشترین کنترل مثبت را بر آن دارید. 🗑️
- 💡 محبوبیت: URLهایی که در اینترنت محبوب‌تر هستند، تمایل دارند بیشتر کراول شوند تا در فهرست ما تازه‌تر نگه داشته شوند. 🌐
- 🕒 کهنگی: سیستم‌های ما می‌خواهند اسناد را به اندازه کافی مکرر کراول کنند تا هرگونه تغییری را شناسایی کنند. 🔄
این عوامل نشان می‌دهند که چگونه گوگل منابع کراول خود را برای اطمینان از کارآمدترین و موثرترین شیوه ممکن برای جمع‌آوری اطلاعات از وب تخصیص می‌دهد. با درک و بهینه‌سازی این عوامل، وبمسترها می‌توانند به افزایش بودجه کراول سایت خود کمک کنند و اطمینان حاصل کنند که صفحات مهم‌تر و مرتبط‌تر به طور موثرتری توسط گوگل کراول و فهرست‌بندی می‌شوند. 📈