خزیدن در سئو چیست؟

در زمینه سئو،  فرآیند کشف محتوای یک وب سایت بطور سیستماتیک را خزیدن مینامند.  که در آن ربات های موتور جستجو (همچنین به عنوان خزنده وب یا عنکبوت شناخته می شوند) .

1. این فرآیند به ربات‌های موتورهای جستجو می‌گوید که وب سایت شما وجود دارد، صفحات آن را بررسی کنند و اطلاعات مربوط به آن را در پایگاه داده خود ذخیره کنند.
2. خزنده وب سایت می‌تواند رفتار و رویکرد موتورهای جستجو را شبیه‌سازی کند و صفحات وب سایت را بررسی کرده و ارزیابی کند. این بهترین فرصت است که از این بررسی استفاده کرده و مواردی مانند عنوان صفحات، برچسب‌های متا، کلمات کلیدی و ساختار بیرونی و داخلی صفحات را بهبود بخشید.
3. با خزیدن وب سایت، می‌توانید بررسی کنید که آیا لینک‌های داخلی و بیرونی درست کار می‌کنند، آیا همه صفحات به درستی موجود هستند و آیا نقشه سایت ساخته شده به درستی عمل می‌کند. این کارها بهبود مشکلات فنی و ساختاری وب سایت را ممکن می‌سازد.
4. با خزیدن وب سایت می‌توانید اطلاعات رقبا را بررسی کنید، ببینید کدام کلمات کلیدی را بیشتر استفاده می‌کنند و چگونه رتبه می‌گیرند. این اطلاعات می‌تواند به بهبود استراتژی سئو و بهینه‌سازی وب سایت کمک کند.

خزیدن وب چگونه کار می کند...؟

  خزنده وب  معمولا با کشف URL ها و دانلود محتوای صفحه کار می کند. در طی این فرآیند، آنها ممکن است محتوا را به فهرست موتور جستجو منتقل  و پیوندهایی را به سایر صفحات وب استخراج کنند که  این پیوندهای یافت شده در دسته بندی های مختلفی قرار می گیرند:

• URL های جدیدی که برای موتور جستجو ناشناخته هستند.
•  URL های شناخته شده ای که هیچ راهنمایی در مورد خزیدن ارائه نمی دهند، به طور دوره ای مورد بازبینی قرار می گیرند تا مشخص شود آیا تغییراتی در محتوای صفحه ایجاد شده است یا خیر، و بنابراین فهرست موتور جستجو  نیازمند به روز رسانی است.
• URL های شناخته شده ای که به روز شده اند و راهنمایی روشنی ارائه می دهند. آنها باید دوباره خزیده و دوباره نمایه شوند، مثلاً از طریق یک نقشه سایت XML.
• URL های شناخته شده ای که به روز نشده اند و راهنمایی روشنی ارائه می دهند. آنها نباید دوباره خزیده شوند یا دوباره فهرست شوند، مانند سرصفحه پاسخ HTTP 304 Not Modified.
• آدرس‌های اینترنتی غیرقابل دسترسی که نمی‌توان یا نباید دنبال شوند، به‌عنوان مثال، آنهایی که در پشت فرم ورود به سیستم هستند یا پیوندهایی که توسط یک برچسب روبات «nofollow» مسدود شده‌اند.
• نشانی‌های وب غیرمجاز که ربات‌های موتور جستجو نمی‌خزند، به‌عنوان مثال، آن‌هایی که توسط فایل robots.txt مسدود شده‌اند.

همه URL های مجاز به لیستی از صفحاتی که در آینده از آنها بازدید می شود اضافه می شود که به عنوان صف خزیدن شناخته می شود. با این حال، به آنها اولویت های مختلفی داده می شود. این نه تنها به دسته بندی پیوندها بلکه به مجموعه ای از عوامل دیگری نیز بستگی دارد که  از اهمیت نسبی هر صفحه در چشم هر موتور جستجو برخوردار است. بیشتر موتورهای جستجوی محبوب، ربات های مخصوص به خود را دارند که از الگوریتم های خاصی برای تعیین اینکه چه چیزی و چه زمانی می خزند، استفاده می کنند ونشان دهنده ی این مفهوم است که همه یکسان نمی خزند.

Googlebot متفاوت از Bingbot، DuckDuckBot، Yandex Bot یا Yahoo Slurp رفتار می کند.

دلایل مهمی که سایت شماباید قابل خزیدن باشد ؟

• عدم رتبه بندی در نتایج جستجو بدلیل اینکه  احتمال ایندکس شدن آن بسیار کم است..
• ، بی ربط شدن برای کاربران بدلیل  خزیده نشدن  و به سرعت قابل مشاهده نبودن .بنابراین خزیدن سریع برای محتوایی با محدودیت  زمانی ضروری است .
• وقتی یک مقاله را بازخوانی می‌کنید یا یک تغییر قابل توجه در سئوی صفحه منتشر می‌کنید، هرچه ربات گوگل سریع‌تر آن را بخزد، سریع‌تر از بهینه‌سازی سود می‌برید  به این صورت که یا اشتباه خود را مشاهده می‌کنید و یا می‌توانید آن را برگردانید.
• اگر Googlebot به آرامی در حال خزیدن باشد،به سرعت شکست نخواهیدخورد.
•  خزیدن به عنوان سنگ بنای سئوی سایت شماست. دید ارگانیک شما کاملاً به این بستگی دارد که در وب سایت شما به خوبی انجام شود.

اندازه گیری خزیدن: خزیدن بودجه در مقابل. کارایی آن..

..برخلاف تصور رایج، هدف گوگل خزیدن و فهرست کردن  تمام محتوای همه وب سایت ها در اینترنت  نیست.  نمیتوان خزیدن یک صفحه  را تضمین کرد. در واقع، بیشتر سایت ها دارای بخش قابل توجهی از صفحات هستند که هرگز توسط Googlebot خزیده نشده اند. 

اما درکل باور اینکه  خزیدن بیشتر بهتر است کاملاً اشتباه است باید بدانید که  تعداد کل خزیدن ها معیاری برای موفقیت وپیشرفت شما نخواهدبود.

   فهرست بندی سریعتر (دوباره) محتوایی که به آن اهمیت می دهید با 10 برابر تعداد خزیدن در روز لزوماً ارتباطی ندارد. ومسئله ی مربوط به آن وارد کردن بار بیشتری روی سرورهای شما است.  توصیه می شود برای با ارزش شدن صفحه ی سئو بجای  تمرکز بر افزایش کل خزیدن ،  روی خزیدن با کیفیت  تمرکز داشته باشید.

ارزش اثربخشی Crawl...

 خزیدن کیفیت را میتوان اینگونه معنا کرد:کاهش زمان بین انتشار یا به‌روزرسانی قابل توجه یک صفحه مرتبط با سئو و بازدید بعدی توسط Googlebot . این تاخیر اثربخشی خزیدن است. برای تعیین کارایی خزیدن، رویکردی که  توصیه  می شود این است که  : مقدار تاریخ ایجاد شده یا به روز شده از پایگاه داده و مقایسه آن با مهر زمانی خزیدن بعدی Googlebot URL در فایل های گزارش سرور استخراج شود.

همچنین  برای بازگرداندن آن می توانید از تاریخ آخرین حالت در نقشه های سایت XML  محاسبه و به صورت دوره ای URL های مربوطه را با Search Console URL Inspection API جستجو کنید.

  کم کردن تاخیر زمانی بین انتشار و خرید برای تأثیر واقعی بهینه‌سازی‌های خزیدن با معیاری که مهم است  موثر تر است و با کاهش یافتن تاخیر زمانی  خزیدن ، محتوای جدید یا به روز شده مرتبط با سئو سریعتر به مخاطبان شما در سطوح Google نشان داده می شود.

 در دهه ی اخیر  صحبت های زیادی در مورد چگونگی تمرکز  موتورهای جستجو و شرکای آنها بر روی بهبود خزیدن  شده است.

خزیدن کارآمدتر  به آنها امکان دسترسی به محتوای بهتر برای تقویت نتایج را می دهد، همچنین میتوانند  گازهای گلخانه ای را کاهش داده و به اکوسیستم جهان نیز کمک کنند.توجه داشته باشید که  صحبت ها در مورد دو API است که هدف آنها بهینه سازی خزیدن است.

ایده  کار بردی  تر این است که:  به جای اینکه عنکبوت های موتورهای جستجو تصمیم بگیرند چه چیزی خزیده شوند، وب سایت ها  URL های مرتبط را مستقیماً از طریق API موتورهای جستجو  را برای شروع خزیدن تحت فشار قرار بدهند.

در تئوری،  امکان نمایه سازی سریع جدیدترین محتوا و  همچنین  راهی برای حذف مؤثر URLهای قدیمی را  ارائه می‌دهد، چیزی که در حال حاضر به خوبی توسط موتورهای جستجو پشتیبانی نمی‌شود.

پشتیبانی غیر Google از IndexNow اولین API IndexNow است.

این مورد توسط Bing، Yandex و Seznam پشتیبانی می‌شود، اما مهم‌تر این است که توسط  گوگل پشتیبانی نمی‌ شود . همچنین در بسیاری از ابزارهای SEO، CRMها و CDN ها ادغام شده  و به طور بالقوه تلاش توسعه مورد نیاز برای استفاده از IndexNow را  نیز کاهش می دهد.

 اکر چه ممکن است این مسئله دست آورد  سریع برای سئو به نظر برسد، اما توجه داشته باشید که  اگر  بخش قابل توجهی از مخاطبان هدف شما از موتورهای جستجوی پشتیبانی شده توسط IndexNow استفاده نمی کننددر  این صورت، راه اندازی خزیدن از ربات های آنها ممکن است ارزش محدودی داشته باشد.

اما مهمتر از آن این است که : ، ارزیابی کنید  ادغام در IndexNow چه کاری را برای وزن سرور در مقابل بهبود امتیاز کارایی خزیدن برای آن موتورهای جستجو انجام می دهد. ممکن است هزینه هایی که میکنید  ارزش سود  بدست آورده را نداشته باشند... 

پشتیبانی گوگل از API Indexing مورد دوم Google Indexing API است.

باتوجه به اینکه گوگل بارها اعلام کرده است که API را فقط می توان برای خزیدن در صفحات با نشان‌گذاری رویداد یا پست کاری استفاده کرد.اما  بسیاری این ادعا را  را آزمایش کرده و نادرستی این گفته را ثابت کرده اند. با ارسال URL های ناسازگار به Google Indexing API شاهد افزایش قابل توجهی در خزیدن خواهید بود.

. اما مسئله  این است که  «بهینه‌سازی بودجه خزیدن» و تصمیم‌گیری بر اساس میزان خزیدن  بدلیل اینکه ارسال  URL های ناسازگار،  هیچ تاثیری بر نمایه سازی ندارد تصور نادرستی است   و این کاملا منطقی است که هنگام فکر کردن در مورد آن توقف کنید.

 وقتی شما فقط یک URL ارسال می کنید. Google به سرعت صفحه را می خزد تا ببیند آیا داده های ساختاری مشخص شده را دارد یا خیر...؟

و اگر اینچنین باشد، ایندکس را تسریع خواهد کرد. در غیراین صورت. گوگل آن را نادیده می گیرد. بنابراین، فراخوانی API برای صفحات غیرمنطبق کاری جز اضافه کردن بار غیرضروری روی سرور شما و هدر دادن منابع توسعه بدون هیچ سودی نخواهدداشت..

پشتیبانی گوگل در کنسول جستجوی گوگل.

 یکی دیگر از راه ها یی  که گوگل از خزیدن پشتیبانی می کند، ارسال دستی در کنسول جستجوی گوگل است. اکثر URL هایی که به این روش ارسال می شوند، خزیده  شده  و وضعیت نمایه سازی آنها در عرض یک ساعت تغییر خواهدکرد.

اما  یکی از محدودیت ها  در مورد  سهمیه 10 URL در 24 ساعت است ، بنابراین "مقیاس" یکی از مشکلات  واضح در مورد این تاکتیک  است. با این حال، نمی توان آن را نادیده گرفت. می‌توانید ارسال URL‌هایی را که به‌عنوان اولویت می‌بینید، از طریق اسکریپت‌نویسی که اقدامات کاربر را تقلید می‌کند تا سرعت خزیدن و فهرست‌سازی را برای آن دسته از افراد معدود تسریع کند، خودکار کنید.

پنج تاکتیک نحوه دستیابی به خزیدن کارآمد سایت ...

1. از پاسخگویی سریع و سالم سرور اطمینان حاصل کنید.

یک سرور با عملکرد بالا ازاهمیت ویژه ای برخوردار  است.که باید توان کنترل  میزان خزیدنی را که Googlebot می‌خواهد انجام دهد، بدون تأثیر منفی بر زمان پاسخ‌دهی سرور یا خطا،داشته باشد.

بررسی این مسئله که: وضعیت میزبان سایت شما در کنسول جستجوی گوگل  همواره باید سبز باشد بسیار مهم است. خطاهای 5xx زیر 1٪ است و زمان پاسخ سرور کمتر از 300 میلی ثانیه است.

2. محتوای بی ارزش را حذف کنید..

 همواره توجه داشته باشید  زمانی که بخش قابل توجهی از محتوای یک وب سایت با کیفیت پایین، قدیمی یا تکراری باشدو همچنین به نفخ ایندکس کمک کند خزنده ها از بازدید  محتوای جدید یا اخیراً به روز شده  منحرف می شوند. سریع‌ترین راه برای شروع پاک‌سازی: بررسی گزارش صفحات کنسول جستجوی Google برای استثناء «Crawled – در حال حاضر فهرست‌بندی نشده» است.  

3. به Googlebot آموزش دهید چه چیزی نباید خزیده شود..

در حالی که پیوندهای rel=کانونیکال و تگ‌های noindex در تمیز نگه داشتن نمایه گوگل وب سایت شما موثر و هزینه بر وگاهی ضروری به نظر می رسند ، مهم است بدانید  که آیا چنین صفحاتی در وهله اول نیاز به خزیدن دارند یا خیر. در غیر این صورت،بهتر است  Google را در مرحله خزیدن با غیر مجاز robot.txt متوقف کنید.

مواردی را که مسدود کردن خزنده ممکن است بهتر از ارائه دستورالعمل‌های نمایه‌سازی باشد، با جستجو در گزارش پوشش کنسول جستجوی Google برای مستثنی شدن از برچسب‌های canonical یا noindex پیدا کنید. همچنین، نمونه URL های «ایندکس شده، ارسال نشده در نقشه سایت» و «کشف شده – در حال حاضر فهرست نشده» را در کنسول جستجوی گوگل مرور کنید.

مسیرهای که با سئو سایت غیر مرتبط هسند مانند:

• صفحات پارامتر، مانند ?sort=oldest.
• صفحات کاربردی، مانند «سبد خرید».
• فضاهای بی نهایت، مانند فضاهایی که توسط صفحات تقویم ایجاد می شود.
• تصاویر، اسکریپت‌ها یا فایل‌های سبک بی‌اهمیت
• . URL های API همچنین باید در نظر بگیرید که استراتژی صفحه بندی شما چگونه بر خزیدن تأثیر می گذارد.

4. به Googlebot در مورد اینکه چه زمانی بخزد آموزش دهید.

 یکی از  ابزارها ی موثر برای هدایت Googlebot به سمت URL های مرتبط با سئو  " نقشه ی سایت XML بهینه شده" است. بهینه به این معنای اصلاح آخرین تاریخ و زمان  شدن  به صورت پویا که  با کمترین تاخیر به روز می شود  تا به موتورهای جستجو اطلاع دهد که آخرین بار چه زمانی صفحه به طور قابل توجهی تغییر کرده است و آیا باید دوباره خزیده شودیاخیر...

5. از خزیدن از طریق پیوندهای داخلی پشتیبانی کنید..

همانطور که میدانید خزیدن فقط از طریق پیوندها امکان پذیر است و نقشه های سایت XML یک مکان عالی برای شروع هستند.با وجود قدرتمند بودن لینک های خارجی ساخت انبوه با کیفیت  می تواند چالش برانگیز  باشد .

از سوی دیگر، پیوندهای داخلی نسبتاً آسان هستند و تأثیرات مثبت قابل توجهی بر کارایی خزیدن دارند.  پیشنهاد بهتر این است که  روی ناوبری در سراسر سایت تلفن همراه، خرده نان، فیلترهای سریع، و پیوندهای محتوای مرتبط  متمرکز شوید و  مطمئن شوید که هیچ کدام به جاوا اسکریپت وابسته نیستند.

 خزیدن وب سایت برای سئو اساسی است. و اکنون یک KPI واقعی در کارآیی خزیدن برای اندازه‌گیری بهینه‌سازی‌ها دارید – بنابراین می‌توانید عملکرد ارگانیک خود را به سطح بعدی ببرید.