می پردازیم به یکی دیگر از مباحث مهم آموزش سئو سایت :

پرسش چگونگی خارج کردن صفحات از ایندکس گوگل دوبار طی چند روز گذشته توسط مشتریان سئو مطرح شده است.

این فرایند بسیار واضح است اما اغلب یک مورد ساده باعث سردرگمی می شود. در اینجا نحوه انجام صحیح اینکار (خصوصاً اطمینان حاصل کردن از اینکه صفحات کاملاً حذف شده اند و دیگر برنمیگردند) آمده است.

اما ابتدا…

چرا می خواهید صفحات خود را از ایندکس گوگل خارج کنید؟

اساساً اگر الگوریتم پاندای گوگل مقدار بسیاری صفحه مشابه یا مطلب جزئی و کوچک در سایت شما ثبت کرده است، امکان بروز مشکل وجود دارد.

بدون در نظر داشتن پاندا، اگر صفحه ای خیلی کم کیفیت باشد، ایندکس نمی شود یا در رنک قرار نمیگیرد، اما با وجود پاندا مقدار زیادی مطلب و صفحه کوچک باعث می شود که تمام سایت شما مورد مجازات قرار گیرد و رنک خود را از دست بدهد.

نمی خواهم در این مقاله زیاد وارد جزئیات شوم که چه چیزی باعث ایجاد مطالب سطح پایین و کم کیفیت می شود ، اما اجالتاً تعدادی مثال از مطالبی که باید به دنبالشان باشید آورده ام:

• صفحات جستجو
• اضافه کردن صفحات مرور
• صفحات رده بندی محصولات
• صفحات آرشیو مطالب

اگر در پاسخ سوال سئو چیست صادقانه از خودتان بپرسید “آیا این صفحه لیاقت ایندکس شدن در گوگل و کسب رنک را دارد؟”

اگر پاسختان منفی است، آن صفحه را از ایندکس خارج کنید.

مختصر و مفید به این معنی است که سایتی با 100 صفحه با کیفیت ، خیلی ارزشمندتر است (و این کار بصورت سیستماتیک باعث افزایش ترافیک جستجو شما می شود) نسبت به 10000 صفحه که پر از چرت و پرت است.

سایت خود را برای یافتن مطالب سبک و کم کیفیت جستجو کنید

خیلی خوب است که بدانیم گوگل در حال حاضر چه چیزی را در سایت ما ایندکس کرده است.

می توانید اینکار را با تایپ کردن این عبارت در صفحه جستجوی گوگل انجام دهید:

site:www.yoursite.com

اگر به عنوان مثال سایت newseo را جستجو کنم گوگل به من می گوید که در حال حاضر این سایت 305 صفحه ایندکس شده دارد!

• در حال حاضر 43 مطلب منتشر شده در این سایت وجود دارد بنابراین با صفحات دسته بندی و غیره تقریبا عدد 305 درست است.
• اگر عدد 100 باشد، من احتمالا علاقه مند می شدم که بررسی کنم چه صفحاتی ایندکس شده است.
• اگر عدد 2000 باشد، قطعا بایستی نگاه دقیقی به مطالب ایندکس شده بیاندازم.(چراکه برایم عجیب خواهد شود که چرا این همه لینک از سایت من ایجاد شده است)

البته سایت من سایتی کوچک است (بر اساس تعداد صفحات!)، بنابراین اگر شما صاحب سایت بزرگتری هستید، زمان بیشتری نیاز دارید که بررسی کنید چه چیزهایی ایندکس شده است و چه چیزهایی نیاز است که حذف شود! اما مطمئن باشید که زمانی که می گذارید ارزش دارد.

بر اساس مقالات کتاب آموزش سئو به اینجا می رسیم که مطالب حذفی را شناسایی کرده‌اید، چگونه آن ها را حذف می کنید؟

من فقط صفحات را در robot.txt بلاک می کنم آیا اینکار درست است؟

این کار اشتباهی است که بسیاری از افراد انجام می دهند.

بلاک کردن یک پوشه (مانند /search/ ) در robot.txt بخشی از کار (که بعدا به آن خواهم پرداخت) است اما درواقع نه تنها اولین گام نیست بلکه آخرین گام است.

بلاک کردن روبوت ها از دیدن پوشه های اصلی فقط به این معناست که آنها نمی توانند صفحه را بازبینی کنند (اینکار به آنها نمی گوید که صفحه موردنظر را حذف کن) و ممکن است به خوبی آدرس های سبک، منقضی، قدیمی را دور از دسترس ایندکس قرار دهید (و سایت خودتان را پایین بکشید).

پس اولین گام چیست؟

خروج صفحه، گام نخست: robot meta tag را در حالت noindex, follow قرار دهید.

اولین گام در خارج ساختن صفحه ای از ایندکس گوگل، اضافه کردن robot meta tag و تنظیم آن است لذا سایت شما فرمان بازدید عنکبوتی و دنبال کردن هر لینکی در آن صفحه را صادر می کند نه ایندکس کردن آن.

tag شبیه این است و باید در بخش

صفحه قرار گیرد:

<“meta name=”robots” content=”noindex, follow>

در تئوری کار، حالت پیشفرض عنکبوت جستجوگر تحت هر شرایطی باید بصورت دنبال کردن تمامی لینک ها باشد، اما من معمولاً جهت اطمینان “follow” را اضافه می کنم.

من برای سئو سایت ام noindex tag را صفحات آرشیو سایتم قرار داده ام (غیر از صفحه‌ی اول). بنابراین به عنوان مثال، اگر ما نگاهی به سورس برای بررسی سئو‌ی صفحه 2 بیاندازیم در خط 18 تگ موردنظر را می بینیم:

جستجوی سریع (cache:http://www.newseo.ir/page/2) تایید می کند که گوگل مطابق با درخواست شما صفحه را ایندکس نکرده است.

اضافه کردن تگ روبوت بایستی نخستین گام شما باشد، اما صفحه از ایندکس خارج نمی شود تا زمانیکه مجددا بازبینی شود. بنابراین چگونه می توان فرآیند را تسریع نمود؟

خارج سازی صفحه، گام دوم: تسریع کردن فرآیند با استفاده از ابزار وبمستر برای خارج ساختن دایرکتوری

اگر زمان دارید می توانید از ابزار وبمستر استفاده کنید و آدرس به آدرس چک کنید و فرآیند خارج‌سازی را تسریع کنید. قطعا تا زمانی که انجام کار راحت است باید هر دایرکتوری که مدنظر است (خصوصا شامل مطالب تکراری/سبک) را برطرف نمایید.

به عنوان مثال می توانید هرچیزی را با یک درخواست در مسیر زیر حذف کنید.

yourdomain.com/search/

روش کار در اینجا آمده است:

1. وارد ابزار وبمستر شوید و روی عبارت مسیر زیر کنید.

Google Index > Remove URLs > Create A New Removal Request

2. بعد از کلیک بر روی این کلید آدرس دایرکتوری مورد نظر را وارد نمایید. مانند: yourdomain.com/search و سپس روی continue کلیک نمایید.
3. Remove Directory را از باکس کشویی انتخاب نمایید و سپس روی Submit Request کلیک کنید.

بعد از انجام دادن این مراحل گوگل هرچیزی در این مسیر را از ایندکس خود خارج می کند.

برای خارج ساختن صفحه ای خاص فقط کافیست روی آدرس کلیک کنید وfrom search results and cacheRemove page را انتخاب نمایید.

تگ روبوت در مرحله اول مطمئن می شود که چیزی ایندکس نشده است اما محض اطمینان …

خارج سازی صفحه، گام سوم: بلاک کردن دایرکتوری در robot.txt

مهم: تا زمانیکه صفحه کاملا از ایندکس خارج نشده است این مرحله را انجام ندهید. می توانید مجدداً از عبارت site:… در جستجوی گوگل استفاده کنید تا مطمئن شوید تمامی مطالب خارج شده اند.

site:yourdomain.com/search

زمانیکه مطلب خارج شد، می توانید از robot.txt استفاده کنید تا در آینده جلوی جستجوی هرچیزی در دایرکتوری مدنظر را بگیرید.

بنابراین برای بلاک کردن مسیر yourdomain/search بایستی این دستورات را در فایل robot.txt دنبال کنید:

User-agent: *

Disallow: /search/

User-agent به این معنی است که دستورالعمل برای تمامی روبوت‌ها (اسپایدرها) می باشد و ِ Disallow به این معنی است که روبوت نباید هیچ مطلبی را در این دایرکتوری جستجو کند.

شما می توانید از ابزار آدرس های بلاک شده در ابزار وبمستر گوگل استفاده کنید (Crawl > Blocked URLs) تا مطمئن شوید که دستور مورد نظر بدرستی کار می کند.

و این آن چیزی است که می خواهید!

خب این مطلب دستورالعملی بود برای فرآیند خارج سازی صفحات از ایندکس گوگل و اطمینان از پایدار بودن آن. سخت که نبود؟

با بیرون آمدن نسخه 4.0 پاندا اهمیت انجام این فرآیند و خارج ساختن صفحات اضافی از ایندکس گوگل، بیشتر به چشم می آید.

هر سوالی دارید فقط کافیست نظر خود را در زیر همین پست بگذارید یا از طریق ایمیل و موبایل با بنده در ارتباط باشید.

من لحظه به لحظه با شما هستم …