بودجه خزش مفهومی است که حتما در حین یادگیری سئو سایت با آن روبرو شده اید. یکی از مسائل نگران کننده برای مدیران وب سایت ها این است که صفحه جدیدی که بر روی سایت خود ایجاد می کنند حتی بعد از گذشت چند هفته همچنان توسط گوگل ایندکس نشده باشد. این مساله یکی از اتفاق های ناخوشایندی است که اگر با بودجه خزش و نحوه عملکرد خزنده های گوگل آشنایی نداشته باشید ممکن است برای شما نیز رخ بدهد.

بنابراین اگر فکر می کنید هنوز این مفاهیم را به خوبی درک نکرده اید ادامه این مطلب را از دست ندهید. آشنایی با بودجه خزش شما را در بالا بردن رتبه سایت خود و ایندکس شدن صفحات آن توسط گوگل کمک می کند.

بودجه خزش چیست؟

در ابتدای بحث لازم است اطلاعاتی در رابطه با خزنده های گوگل و ربات ها داشته باشیم تا به خوبی درک کنیم که بودجه خزش چیست. روزانه تعدادی از صفحات سایت شما توسط خزنده های گوگل بررسی می شوند و ممکن است این خزنده ها برخی از صفحات را ایندکس کنند. به این معنا که اطلاعات آن صفحه در پایگاه داده موتور جستجو ذخیره شده و به کاربران نمایش داده می شود.

بودجه خزش (Crawl Budget) به تعداد صفحاتی از سایت شما گفته می شود که در هر روز توسط خزنده ها بررسی می شوند. این میزان می تواند به طور روزانه تغییر کند، اما در کل به عنوان یک فاکتور نسبتا پایدار شناخته می شود.

عوامل زیادی وجود دارند که نرخ کراول یا خزیدن ربات ها را تعیین می کنند. از جمله این عوامل می توان به موارد زیر اشاره کرد:

1. نوع صفحه
2. جدید بودن صفحه
3. تعداد لینک های داخلی و خارجی

اگر اخیرا صفحه ای را در وب سایت خود ایجاد کرده اید و دوست دارید هر چه سریعتر به کاربران نمایش داده شود و رتبه خوبی کسب کند، باید کراولرها (خزنده های موتور جستجو) را به سمت آن بکشانید. درواقع گاهی ممکن است مدت ها طول بکشد تا خزنده ها متوجه یک صفحه جدید شوند؛ بنابراین اگر می خواهید سئو سایت خود را با اتلاف وقت کمتری بهبود ببخشید، باید به درستی بدانید بودجه خزش چیست و از چه راه هایی می توان آن را ارتقا داد.

کراولرهای گوگل چه فرآیندی را طی می کنند؟

تا اینجا دریافتیم که بودجه خزش یا Crawl Budget چیست اما شاید شما هم کنجکاو باشید که بدانید خزنده ها و ربات ها دقیقا چطور کار می کنند. همانطور که گفتیم وظیفه خزنده ها، کراول کردن صفحات سایت و ایندکس کردن موارد مفید است. برای این کار یک ربات لیستی از URLهای سایت را دریافت می کند و مطابق آن عمل می کند. این خزنده ها با مشاهده نقشه سایت و بک لینک ها تصمیم می گیرند که در گام بعدی چه صفحاتی را اسکن کنند.

اگر ربات گوگل متوجه خرابی یا تغییر در برخی از لینک ها شود، صفحه ایندکس شده خود را به روزرسانی می کند.به عبارت دیگر هدف خزنده های گوگل این است که محتواهای مفید سایت های مختلف را ایندکس کنند، تا زمانی که یک کاربر عبارتی را جستجو می کند، به روزترین و مفیدترین صفحات را مشاهده کند؛ بنابراین خزنده های گوگل با دقت زیادی مراقب داده های ایندکس شده هستند.

خزنده های گوگل به طور مداوم فایل robots.txt در سایت شما را بررسی می کنند تا مطمئن شوند که اجازه دسترسی و اسکن کردن صفحات سایت را دارند.

چگونه متوجه شویم که بودجه خزش سایتمان کم شده است؟

هزاران سایت در بستر اینترنت وجود دارند که روزانه مطالب جدیدی را منتشر می کنند یا محتواهای قبلی خود را به روزرسانی می کنند. برای اینکه تمام این سایت ها بررسی شده و بهترین موارد برای نمایش به کاربران برگزیده شوند، گوگل نیازمند یک ساختار قدرتمند و عظیم است. خزنده های گوگل در هر روز تعداد زیادی از سایت ها را اسکن می کنند؛ با این حال هنوز هم نمی توانند زمان نامحدودی را برای اسکن یک سایت اختصاص دهند، بلکه برای هر سایت یک بودجه خزش معین وجود دارد.

پس در صورتی که می خواهید صفحات مهم تری در سایت شما ایندکس شوند، باید صفحات غیرضروری و اضافی را از دسترس ربات ها خارج کنید تا وقت خود را برای مطالب مفیدتری صرف کنند. به این ترتیب با بهینه سازی نرخ بودجه خزش، قادر خواهید بود تعداد صفحات ایندکس شده خود را افزایش دهید و رتبه خوبی در نتایج جستجوی گوگل به دست آورید.

اما سوال اساسی این است که از کجا متوجه شویم بودجه خزش سایتمان کم شده است؟ سریع ترین راه برای کشف این موضوع مشاهده گزارش های سرور سایت است. برای اینکار مراحل زیر را طی کنید:

1. با مراجعه به سرچ کنسول سایت خود و کلیک روی Settings، گزینه Crawl stats را انتخاب کنید.
2. در این بخش شما به صفحاتی که خزیده شده اند دسترسی خواهید داشت.
3. میانگین صفحات خزیده شده (Average crawled per day) در روز را محاسبه کنید و آن را یادداشت کنید.

حالا باید تعداد کل صفحات سایتتان را بر عدد میانگین تقسیم کنید. اگر در انتها عددی که به دست می آورید بیشتر از ۱۰ باشد، به این معناست که ربات های گوگل می توانند روزانه تنها یک دهم از صفحات شما را اسکن کنند. پس به نظر می رسد بهتر است بودجه خزیدن سایتتان را بهینه کنید. اگر عددی که به دست آوردید کمتر از ۳ باشد جای نگرانی نیست و بودجه خزش سایت شما نسبتا مطلوب است.

گوگل کدام url ها را کراول می کند؟

اکنون به اجمال فهمیدیم که بودجه خزش چیست و خزنده های گوگل چطور رفتار می کنند. سوال بعدی که باید به آن پاسخ دهیم این است که ربات ها کدام URLها را کراول یا اسکن می کنند؟ مهم ترین راهی که خزنده های گوگل از طریق آن به صفحات یک سایت دسترسی پیدا می کنند، نقشه xml سایت است. علاوه بر این پیوندهای داخلی یا خارجی نیز ربات ها را به سایت شما هدایت می کنند؛ به همین خاطر همواره توصیه می شود نقشه سایت را به طور مرتب چک کنید تا از سالم بودن URLها مطمئن شوید.

روش های افزایش بودجه کراول

قطعا صرف اینکه بدانیم بودجه خزش چیست کمکی به بهبود سئو سایت ما نخواهد کرد. بنابراین باید راهکارهای عملی را برای بهینه کردن بودجه کراول یا خزش سایت به کار ببریم تا به هدف افزایش رتبه سایت دست پیدا کنیم.

در ادامه مهم ترین روش های افزایش بودجه خزش( Crawl Budget) را مطرح می کنیم:

کاهش خطاها

وجود خطاها مانع کراول کردن خزنده ها می شود و می تواند به سئو سایت شما لطمه بزند. پس در گام اول برای افزایش بودجه خزش باید خطاهای سایت را شناسایی و برطرف کنید. یک راه ساده برای کشف ایرادات ساختاری و سئو فنی این است که گزارش های سرور خود را دریافت کنید. همچنین کنسول جستجوی گوگل می تواند در انجام این کار به شما کمک کند. در این مرحله لازم است ریدایرکت ۳۰۱ و ۲۰۰ را پیدا کنید و بقیه URLها را تعمیر کنید. شاید لازم باشد کدها را اصلاح نموده یا URL را به جای دیگری هدایت کنید.

مسدود کردن برخی از صفحات سایت

ممکن است در سایت شما صفحاتی وجود داشته باشند که تمایلی ندارید توسط گوگل دیده شوند. اگر خزنده های گوگل وقت خود را برای اسکن کردن این صفحات تلف کنند بودجه کراول شما کاهش پیدا می کند و شانس ایندکس شدن صفحات مهم تر را از دست خواهید داد.

بهترین کار این است که مشخص کنید خزنده ها کدام صفحات را باید کراول کنند. می توانید سایر بخش ها که نیازی نیست توسط ربات ها اسکن شوند را از طریق robots.txt مسدود کنید. با این کار خزنده های موتور جستجو به این صفحات دسترسی نخواهند داشت.

لینک بیلدینگ

از جمله عواملی که می تواند به بهبود نرخ کراول سایت شما کمک کند این است که لینک های خارجی بیشتری دریافت کنید. لینک سازی بیشتر به معنای کسب اعتبار و افزایش تعداد بازدیدهای سایت است. به همین دلیل لینک بیلدینگ همیشه به عنوان یک فاکتور بسیار قدرتمند برای بهبود سئو سایت شناخته می شود. ایجاد لینک برای برطرف کردن مشکل ایندکس سایت شما موثر خواهد بود و احتمال خزیده شدن صفحات سایتتان را بالا می برد.

نتیجه گیری

موتور جستجوی گوگل برای رتبه بندی سایت ها از زیرساخت پیشرفته ای به نام خزنده ها یا کراولرها استفاده می کند. کراولرها ربات هایی هستند که روزانه چندین سایت را اسکن کرده و محتواهای مفید آن ها را ایندکس می کنند. از آنجا که خزنده های موتور جستجو روزانه قادر به کراول کردن تعداد محدودی از صفحات سایت ها هستند، برای رسیدن به رتبه سایت بهتر باید صفحاتی که برایمان اهمیت دارند را بیشتر در معرض خزیدن قرار دهیم.

بهبود نرخ بودجه خزش کار دشواری نیست و با شرکت در دوره آموزش سئو می توانید تکنیک های آن را بیاموزید. با این حال اگر زمان کافی برای انجام این کار ندارید، پیشنهاد می کنیم از یک کارشناس سئو کمک بگیرید؛ زیرا نرخ بودجه خزش در سئو سایت اهمیت بسیار زیادی دارد و به هیچ وجه نباید نادیده گرفته شود.