خزیدن و نمایه سازی کردن (ایندکس) روندی هستند که Googlebot طی آن‌ها تمامی محتوا و کد موجود در یک صفحه وب را بررسی کرده و آن را تجزیه و تحلیل می‌کند و در واقع رشد تجارت شما از دنیای آنلاین به خزیدن و نمایه سازی صحیح صفحات وب شما بستگی دارد. همانطور که می‌دانید اینترنت یک جهان مجازی است که  به طور مدام در حال تکامل با بیش از 1.1 میلیارد وب‌سایت است. اگر می‌خواهید  محتوای شما توسط گوگل سریعتر پیدا  و فهرست بندی و در نتیجه منجر به  بازدید و ترافیک سایت شما شود، هرچه سریعتر سایت خود را بهینه کنید.

Crawl Budget چیست و چه اهمیتی دارد؟

Crawl Budget به مقدار زمان و منابعی که توسط  Googlebot برای خزیدن صفحات وب در یک دامنه صرف می‌شود، اشاره دارد.بهینه سازی سایت شما بسیار مهم است تا Google محتوای شما را سریعتر پیدا و آن را فهرست کرده تا به بازدید و ترافیک سایت شما کمک کند. گوگل بیان می‌کند که:

• چنانچه  سایت شما دارای تعداد زیادی صفحه قابل تغییر نیست، و همچنین اگر به نظر می‌رسد صفحات شما به محض انتشار، خزیده می‌شوند، کافی است که نقشه سایت را بروز نگه داشته و پوشش شاخص خود را به طور منظم برسی کنید.
• همچنین گوگل بیان می‌کند که هر صفحه باید بازبینی، ادغام و ارزیابی شود و این برای  مشخص شدن اینکه پس از خزیدن در کجا ایندکس می‌شود، بسیار مهم است.
• بودجه خزیدن توسط دو عنصر اصلی: محدودیت ظرفیت خزیدن و تقاضای خزیدن تعیین می‌شود.

همواره توجه داشه باشید که صفحات محبوب‌تر، به عنوان مثال، یک داستان محبوب از CNN و صفحاتی که تغییرات قابل توجهی را تجربه می‌کنند، بیشتر توسط گوگل خزیده می‌شوند.

• ربات گوگل سعی می‌کند بدون غلبه بر سرورها سایت شما را بخزد، Googlebot برای جلوگیری از این کار یک محدودیت ظرفیت خزیدن را محاسبه می‌کند، که حداکثر تعداد اتصالات موازی همزمانی است که Googlebot می‌تواند برای خزیدن یک سایت استفاده کند، و همچنین تاخیر زمانی بین واکشی‌ها.
• با در نظر گرفتن ظرفیت خزیدن و تقاضای خزیدن، یک سایت توسط گوگل  به عنوان مجموعه URL هایی تعریف می‌شود که توانایی خزیده شدن توسط گوگل بات را دارد. حتی اگر به محدودیت ظرفیت خزیده شدن هم نرسیده باشد، Googlebot می‌تواند و می‌خواهد بخزد. در صورتیکه  تقاضای خزیدن کم باشد،  سایت شما  کمتر بوسیله Googlebot خزیده خواهد شد.

12 نکته برتر برای مدیریت بودجه خزیدن برای سایت‌های بزرگ تا متوسط با 10 هزار تا میلیون URL را در ادامه مطلب، مطالعه خواهید کرد:

1. صفحات مهم و صفحاتی که نباید خزیده شوند رامشخص کنید

اگر صفحات مهم و صفحاتی که برای خزیدن اهمیت ندارند را تعین کرده باشید ( کمتر توسط گوگل بازدید می شود).بعد از اینکه صفخات را تجزیه و تحلیل کردید، می‌توانید  صفحاتی از سایت که ارزش خزیدن را ندارند از خزیدن حذف کنید. به عنوان مثال، Macys.com دارای بیش از 2 میلیون صفحه ایندکس شده است . با اطلاع دادن به گوگل برای خزیدن برخی صفحات در سایت بودجه خزیدن خود را مدیریت کنید زیرا باعث محدود کردن  Googlebot  از خزیدن URL‌های خاص در فایل robots.txt  می‌شود. برای پیشگیری از تصمیم Googlebot  برمبنای اینکه سایت شما  ارزش وقت گذاشتن برای نگاه کردن یا افزایش بودجه خزیدن خود را ندارد. باید از مسدود شدن ناوبری وجهی و شناسه جلسه: از طریق robots.txt  اطمینان حاصل کنید.

2. مدیرت محتوای تکراری

برای پیشگیری از محتوای تکراری  و قرار دادن اطلاعات اصلی و منحصر به فرد در  Googlebot بطوریکه نیازهای اطلاعاتی کاربر نهایی را برآورده کند و مرتبط و مفید باشد. حتما باید از فایل robots.txt استفاده کنید.

3.  با استفاده از Robots.txtخزیدن URL‌های غیر مهم رامسدود کنید و به گوگل بگویید چه صفحاتی می‌تواند بخزد

توصیه Google  برای یک سایت در سطح سازمانی با میلیون‌ها صفحه، مسدود کردن  خزیدن URL‌های بی‌اهمیت  با استفاده از robots.txt است. همچنین،از قابل خزدین بودن  صفحات مهم، دایرکتوری‌هایی که محتوای طلایی شما را در خود جای داده‌اند، و صفحات پولی شما توسط Googlebot و موتورهای جستجوی دیگر اطمینان حاصل کنید.

4. زنجیره تغییر مسیر طولانی

اگر می‌خواهید محدودیت خزیدن شما کاهش پیدا کند باید تغییر مسیرهای خود را به تعداد کم و پایین نگه دارید. چرا که داشتن تغییر مسیرهای زیاد یا حلقه‌های تغییر مسیر ، گوگل را گیج می‌کند و در نتیجه باعث کاهش خزیدن وب سایت شما می‌شود. نکته دیگری که توسط گوگل اعلام شده ؛ زنجیره‌های تغییر مسیر طولانی است که  می‌تواند تأثیر منفی بر خزیدن داشته باشد.

5.استفاده از HTML

شانس بازدید خزنده از هر موتور جستجو از وب سایت شما با استفاده از HTML را افزایش خواهد یافت. در حالی که Googlebots هنگام خزیدن و فهرست‌بندی جاوا اسکریپت بهبود یافته‌اند، خزنده‌های دیگر موتورهای جستجو به اندازه Google پیچیده نیستند و ممکن است با زبان‌های دیگری غیر از HTML مشکل داشته باشند.

6. ازسرعت بارگذاری صفحات وب شما و ارائه تجربه کاربری خوب اطمینان داشته باشید

سایت خود را برای Core Web Vitals بهینه کنید. با بارگیری سریع  محتوای شما - یعنی کمتر از سه ثانیه - گوگل نیز  سریعتر می‌تواند اطلاعات را به کاربران نهایی ارائه دهد. اگر محتوای شما مورد علاقه کاربران باشد، محتوای شما در  Google  ایندکس می‌شود زیرا نشان دهنده سلامت خزیدن Google در سایت شما است که می‌تواند محدودیت خزیدن شما را افزایش دهد.

7. محتوای مفید داشته باشید

طبق گفته گوگل، محتوا، براساس کیفیت، رتبه‌بندی می‌شود. در حالیکه در نظر گرفتن سن اهمیتی ندارد. در صورت لزوم، محتوای خود را ایجاد و به‌روز کنید، اما از ایجاد ظاهر مصنوعی صفحات با  تغییرات بی اهمیت و به روز رسانی تاریخ صفحه خوداری کنید زیرا هیچ ارزش اضافه‌تری به وب‌سایت شما نخواهد داد. در صورتی قدیمی یا جدید بودن  محتوای شما مهم نیست که ؛ "محتوای شما نیازهای کاربران نهایی را برآورده کرده و مفید و مرتبط است." اگر محتوای شما  باعث جذب کاربران نمی‌شود یا ازنظر آنها مفید و مرتبط نیست، توصیه بر به‌ روزرسانی و تازه‌سازی محتوای خود است تا تازه، مرتبط و مفید باشد و بتوانید آن را از طریق رسانه‌های اجتماعی تبلیغ کنید.همچنین، برای اینکه صفحه شما مهمتر دیده شده و بیشتر خزیده شود،  صفحات خود را مستقیماً به صفحه اصلی پیوند دهید.

8. مراقب خطاهای Crawl باشید

در صورتیکه برخی از صفحات سایت خود را حذف کرده‌اید، از اینکه URL برای صفحات حذف شده برای همیشه وضعیت 404 یا 410 را برمی‌گرداند، مطمئن شوید. یک سیگنال قوی برای خزیدن دوباره آن URL کد وضعیت 404 است. با این حال، URL‌های مسدود شده، بخشی از صف خزیدن شما برای مدت طولانی تری باقی می‌مانند و پس از حذف بلوک، دوباره خزیده می‌شوند.

• گوگل همچنین اعلام می‌کند که هر صفحه نرم 404 را حذف می کند، (صفحاتی که همچنان خزیده می‌شود و بودجه خزیدن شما را هدر می‌دهد). برای این آزمایش، به GSC رفته و گزارش Index Coverage خود را برای خطاهای نرم 404 بررسی کنید.
• اگر سایت شما دارای کدهای وضعیت پاسخ HTTP 5xx (خطاهای سرور) یا وقفه‌های زمانی اتصال است، درست برعکس عمل می‌کند، باعث کندی خزیدن می‌شود. گوگل توصیه می‌کند تعداد خطاهای سرور را به حداقل برسانید و به گزارش Crawl Stats در کنسول جستجو توجه کنید.

به هر حال، گوگل به قانون غیر استاندارد robots.txt "تاخیر خزیدن"پایبند نیست. اگر صفحه دیگری در سایت شما یا هر صفحه ای در وب، پیوند را به عنوان nofollow برچسب نزند، باز هم امکان خزیده شدن صفحه و هدر دادن بودجه وجود دارد.

9. به‌روز نگه داشتن نقشه‌های سایت

برای کمک به گوگل در جهت یافتن محتوای شما  و سرعت کارها، نقشه‌های سایت XML بسیار مهم هستند.به روز نگه داشتن  URL های نقشه سایت از اهمیت زیادی برخوردار است، برای محتوای به‌روز از تگ <lastmod> استفاده کنید و بهترین شیوه‌های سئو را دنبال کنید، از  موارد زیراستفاده کنید، اما محدود به آنها هم نباشید؛

• درج نشانی‌های اینترنتی را که می‌خواهید فقط توسط موتورهای جستجو فهرست‌بندی شوند،
• فقط نشانی‌های اینترنتی که کدی با وضعیت 200 برمی‌گردانند. را درج کنید.
• حجم یک فایل نقشه سایت باید کمتر از 50 مگابایت یا 50000 URL باشد.
• برای استفاده از چندین نقشه سایت، یک نقشه سایت فهرستی ایجاد کنید که همه آنها را فهرست کند.
• مطمئن شوید نقشه سایت شما دارای کد UTF-8 است.
• پیوندهایی را به نسخه(های) محلی هر URL اضافه کنید. (مستندات گوگل)
• نقشه سایت خود را به روز نگه دارید، به عنوان مثال، هر بار که یک URL جدید وجود دارد یا یک URL قدیمی به روز شده یا حذف شده است.

10. ساخت یک ساختار خوب برای سایت

یکی از ملزومات برای عملکرد سئوی شما برای نمایه سازی و تجربه کاربری، داشتن ساختار خوب سایت است.نتایج صفحات نتایج موتورهای جستجو (SERP) به روش‌های مختلفی از جمله خزیدن، نرخ کلیک و تجربه کاربر بوسیله ساختار سایت تحت تاثیر قرار می‌گیرد. داشتن ساختاری واضح و خطی از سایت شما باعث استفاده موثر از بودجه خزیدن شما می‌شود، که به Googlebot برای پیدا کردن  هر محتوای جدید یا به روز شده کمک می‌کند. قانون سه کلیک را همیشه به خاطر بسپارید، به این معنا که هر کاربری باید بتواند از هر صفحه ای از سایت شما به صفحه دیگر با حداکثر سه کلیک برود.

11. پیوند داخلی

آسان‌تر کردن خزیدن و پیمایش در سایت خود برای موتورهای جستجو باعث می‌شود که؛ خزنده‌ها راحت‌تر بتوانند ساختار، زمینه و محتوای مهم شما را شناسایی کنند. از جمله مزیت‌های داشتن پیوندهای داخلی این است که؛ به یک صفحه وب اشاره می کنند و می‌تواند اهمیت صفحه را به گوگل اطلاع دهد، برای ایجاد سلسله مراتب اطلاعات برای وب سایت داده شده مفید بوده و می‌تواند به گسترش ارزش لینک در سراسر سایت شما کمک کند.

12.  آمار خزیدن را به طور مداوم  رصد کنید

همیشه به دنبال راه‌هایی برای کارآمدتر کردن خزیدن خود باشید. GSC را مدام بررسی و نظارت کنید تا ببینید آیا سایت شما در حین خزیدن مشکلی دارد یا خیر، برای این کار می‌توانید از گزارش Crawl Stats استفاده کنید. در صورت گزارش اخطارهای در دسترس بودن در GSC برای سایت شما ، به دنبال نمونه‌هایی در نمودارهای در دسترس بودن میزبان بگردید که در آن درخواست‌های Googlebot از خط قرمز فراتر رفته است، با کلیک برروی نمودار ببینید کدام URL‌ها ناموفق هستند و سعی درمرتبط کردن آنها با مشکلات مربوطه داشته باشید. همچنین، برای آزمایش چند URL در سایت خود می‌توانید از ابزار بازرسی URL استفاده کنید.اگر ابزار بازرسی URL اخطارهای بار میزبان را برگرداند، به این معنی است که URLهای سایت شما به اندازه کافی نمی‌تواند توسط Googlebot  خزیده شود.

در نتیجه؛

برای سایت‌های بزرگ به دلیل اندازه و پیچیدگی گسترده آنها بهینه سازی بودجه خزیدن اهمیت دارد.با صفحات متعدد و محتوای پویا، خزنده‌های موتورهای جستجو در خزیدن کارآمد و مؤثر و فهرست‌بندی محتوای سایت با چالش‌هایی مواجه هستند. صاحبان سایت با بهینه سازی بودجه خزیدن می‌توانند خزیدن و نمایه سازی صفحات مهم و به‌روز شده را در اولویت قرار دهند و می‌توانند از اینکه موتورهای جستجو منابع خود را عاقلانه و موثر مصرف می‌کنند، اطمینان حاصل کنند. فرآیند بهینه سازی شامل تکنیک‌هایی مانند:

• بهبود معماری سایت،
• مدیریت پارامترهای URL،
• تعیین اولویت‌های خزیدن،
• حذف محتوای تکراری

است . رعایت این موارد ذکر شده، منجر به دید بهتر موتورهای جستجو، بهبود تجربه کاربر و افزایش ترافیک ارگانیک برای وب‌سایت‌های بزرگ می‌شود.