بررسی دلایل و علل ایندکس نشدن سایت در گوگل
ایندکس گوگل برای مطالب و صفحات سایت از دغدغههای اصلی همهی وبمسترها به شمار میرود. اگر صفحات مختلف سایت ایندکس نشوند امکان مشاهدهی آنها در نتایج گوگل نیز وجود ندارد. به همین خاطر تمام زحمات طراحی سایت و سئوی آن برای به ثمر نشستن، وابسته به پروسه ایندکس شدن است. یکی از راهکارهای مناسب برای کشف مشکل، مراجعه به حساب سرچ کنسول و بررسی گزارشات آن است. ممکن است با مشاهده خطاهای احتمالی در سرچ کنسول خود دچار شوک شوید. ما در وب کوک آموزشهای لازم در مورد دلایل ایندکس نشدن سایت در گوگل را به شما ارائه میکنیم.
ایندکس گوگل به چه معناست؟
گوگل رباتها یا به اصطلاح خزندههایی را برای بررسی کردن صفحات مختلف سایتها، طراحی کرده است. این خزندهها مطالب را ارزیابی و شاخص میکنند. به همین خاطر اگر یک صفحه توسط رباتهای گوگل مورد ایندکس واقع نشود در صفحه نتایج هم جای نمیگیرد. بنابراین شاخص شدن و به اصطلاح ایندکس شدن صفحات در فضای وب سایتها دارای اهمیت زیادی است. در این پروسه تک تک صفحات مهم بوده و باید توسط موتورهای جستجو مانند گوگل شناسایی و شاخص شوند.
حتما بخوانید : آنالیز سایت چیست ؟
راه کار گوگل برای شناسایی صفحات و ایندکس آنها چیست؟
برای اینکه پروسه ایندکس کردن توسط گوگل به درستی صورت گیرد، صفحات باید در دسترس قرار داشته باشند. بنابراین قبل از ایندکس شدن صفحات باید توسط رباتها و خزندههای گوگل شناسایی شوند. سپس صفحات شناسایی شده مورد بررسی و به اصطلاح خواندن قرار میگیرند. بنابراین کار در دو مرحله برای صفحات وب سایتها انجام میگیرد:
- خزش یا کراول
- نمایه گذاری یا ایندکس
پشت سر گذاشتن هر دو مرحله در انجام اصولی و دقیق ایندکس گوگل لازم و ضروری است.
آیا پروسه ایندکس شدن سایت در گوگل قابل مدیریت است؟
گوگل موتور جستجویی است که در آن امکان مدیریت و کنترل بر روی ایندکس صفحات سایت خود را خواهید داشت. ابزاری به نام گوگل وب ومستر برای این منظور طراحی و در اختیار صاحبین سایتها قرار داده شده است. بعد از راه اندازی این ابزار در قسمت سمت چپ لینکی به نام گوگل ایندکس GOOGLE INDEX دیده میشود. سه زیر شاخه برای این لینک در نظر گرفته شده است با نامهای:
- Index status
- Blocket Resources
- Remove URLs
از طریق هر یک از این زیر شاخهها موردی را تحت مطالعه و ارزیابی قرار خواهید داد. در این بین گزینه اول مربوط به صفحات ایندکس شده در گوگل است. گزینه دوم نیز منابعی هستند که هاست مانع دسترسی گوگل به آنها شده است. آخرین و سومین گزینه نیز مربوط به مواردی است که به رباتهای گوگل اجازه ایندکس کردنشان را نمیدهید.
چطور بدانیم سایتی ایندکس گوگل شده است؟
فرآیند ایندکس شدن در سطح صفحات انجام میشود. یعنی رباتهای جستجوگر صفحه را شناسایی کرده و شاخص میکنند. ابزارهای زیادی نیز وجود دارند که به شما خواهند گفت صفحات سایت شما ایندکس شدهاند یا خیر؟! اما راه کار سریع برای این کار کمک گرفتن از سایت operator توسط سرچ خود گوگل است. برای این کار در کادر مربوط به جستجوی گوگل با فرمت: site:webcook.digital.com آدرس سایت را درج کنید. سپس تمام صفحات مربوط به دامنه که توسط موتور جستجوگر گوگل ایندکس شدهاند را نشان میدهد. علاوه بر آن قادر هستید تا url یک صفحه خاص را نیز درج کرده تا از ایندکس شدن صفحهی مورد نظر نیز مطلع شوید.
حتما بخوانید : رفع خطاهای pages سرچ کنسول
چرا یک سایت ایندکس گوگل نمیشود؟
دلایل مختلفی وجود دارد که سایتی در گوگل ایندکس نمیشود. در این بخش به بیان برخی از این دلایل خواهیم پرداخت:
۱- بلاک شدن سایت و صفحاتش به وسیله Robots.txt:
چنین فایلی در دایرکتوری اصلی سایت شما وجود دارد که محلهای مجاز برای ایندکس شدن را اعلام میکند. چنانچه در کدهای این فایل اشکال و خطایی ایجاد شود میتواند قطع کامل دسترسی رباتها به سایت را موجب گردد. چنانچه در خط پایینی این فایل متن وجود داشته باشد خزندهها مجاز به ایندکس کردن سایت نخواهند بود.
۲- عدم ایندکس به علت htaccess:
این فایل که در پوشه public-html یا در www قرار دارد فایلی نامرئی است. اگر این فایل دارای پیکربندی مناسبی نباشد امکان ایجاد آسیبهای زیادی به سایت را دارد. به این صورت که حلقههای بی نهایت ایجاد کرده تا سایت هرگز بارگذاری نشود. برای مرئی کردن این فایل کافی است به کمک ویرایشگرهای مدرن فایلهای متنی اقدام کنید.
۳- عدم ایندکس گوگل به علت متا تگها:
اگر دو دستور nofollow و noindex در کدهای مربوط به منابع وجود داشته باشند گوگل به سایت دسترسی نخواهد داشت. این دستورات عبارتند از:
<meta name=”robots” content=”noindex, nofollow”>
میباشند و از ایندکس شدن سایت توسط گوگل جلوگیری میکنند.
۴- نقشهی سایت:
یکی دیگر از دلایلی که مانع از ایندکس شدن سایت میشود وجود مشکلاتی در نقشه سایت است. گاهی نقشه سایت قدیمی است و یا به روز رسانی نشده است اما همچنان مورد تغذیه قرار میگیرد. در این حالت صفحات سایت ایندکس نمیشوند. برای رفع این مشکل اول لینکهای مشکلدار را شناسایی کنید و سپس نقشه سایت را به روز رسانی نمایید. نقشهی سایت به روز رسانی شده را مجددا submit کنید.
۵- پارامترهای مربوط به URL:
در ابزار گوگل سرچ کنسول قسمتی برای تعیین پارامترهای URL وجود دارد. از این طریق لینکهای داینامیکی که مایل به ایندکس شدنشان نیستید را تعیین میکنید. اما اگر در پیکربندی این پارامترها مشکلاتی وجود داشته باشد احتمالا از ایندکس شدن سایت جلوگیری میشود. به همین خاطر توصیه میشود از انجام این کار تا زمانی که ضرورتی ندارد خودداری کنید.
۶- عدم ایندکس گوگل به دلیل وجود خطاهای DNS:
زمانی که خزندههای گوگل به هر دلیلی قادر به دسترسی به سرور نباشند ایندکس انجام نخواهد شد. دلایلی همچون:
- منتقل کردن سرور سایت از سرور قدیمی به جدید
- تعمیرات شبکه هاست
میتواند مانع دسترسی رباتهای گوگل به سرور سایت شوند.
۷- پایین بودن رتبه صفحه:
هم دفعات و هم تعداد صفحههایی که موتور جستجوگر گوگل پروسه ایندکس را انجام میدهد به رتبه صفحه مرتبط است. بنابراین اگر صفحات سایت شما رتبه بسیار پایینی داشته باشند طبیعی است که ایندکس نشوند.
۸- مشکلات قدیمی دامنه سایت:
چنانچه دامنهی سایت قبلا توسط گوگل جریمه و به اصطلاح BEN شده باشد محتوای سایت شما ایندکس نخواهد شد. در این حالت کیفیت محتوا و بک لینکهای ارزشمند در صفحه کمکی به ایندکس گوگل، سایت و صفحه نمیکنند. تنها راه حل درخواست تجدید نظر به گوگل برای رفع مشکل است. همچنین پیشنهاد میشود تا از خرید دامنههایی که قبلا فعال بودهاند خودداری کنید. مگر اینکه در مورد این مسائل تخصص و دانش بالایی داشته باشید.
۹- سایت با عنوان WWW و یا بدون این عنوان ایندکس شده باشد:
دامنههای دارای عنوان WWW به عنوان دامنههای مرجع شناسایی میشوند. با این همه دو گزینهی http://www و http:// با هم یکی نیستند. بهتر است تا هر دو دامنه در اکانت gwt شما مورد ثبت قرار گیرد. البته دامنه مرجع خود را نیز از بین آنها تعیین و انتخاب نمایید.
۱۰- تعداد بالای محتواهای تکراری:
تعداد زیاد محتواهای تکراری موجب سردرگمی موتورهای جستجو خواهند شد. اگر تعداد این نوع محتواها در سایت زیاد باشد بعد از مدتی گوگل دست از ایندکس کردن سایت برمیدارد. منظور از محتوای تکراری حضور یک محتوای مشخص با دو آدرس متفاوت در سایت است. برای حل این مشکل ابتدا باید صفحاتی که دارای محتوای مشابه هستن را پیدا کنید. سپس صفحه اصلی را نگه داشته و دیگری از دسترس گوگل خارج کنید. ویرایش کردن یکی از محتواها نیز یک راه حل مناسب برای حل این مشکل است.
۱۱- سایت خطای کراول کردن داشته باشد:
اگر هیچ یک از موارد یاد شده در سایت وجود ندارد شاید عدم ایندکس گوگل مربوط به خطای کراول باشد. یکی از مهمترین خطاهای خزش، خطای ۴۰۴ یا خطای سروری نام دارد. این دست از خطاها به علت پاک نمودن مطلب و از دست رفتن بعضی آدرسها ایجاد میشود. برای رفع این مشکل به ابزار مدیریتی سایت خود، گوگل سرچ کنسول، وارد شوید. بعد از انتخاب سایت روی گزینه crawl و سپس crawl Errors کلیک نمایید. در یک نمودار تمام خطاهای زمان تجسس و کراول شدن به شما نشان داده خواهد شد.
حتما بخوانید : پنالتی گوگل چیست؟
۱۲- شخصی سازی کردن سایت:
یکی دیگر از دلایلی که سایت ایندکس نمیشود شخصی سازی کردن تنظیمات آن است. در ابزار مدیریت سایت وردپرسی امکان وقوع تصادفی چنین تنظیماتی وجود دارد. برای بررسی کردن این مورد میتوانید به شکل زیر اقدام فرمایید:
Admin>> setting>> Privacy to check
۱۳- سرعت پایین هاستینگ:
این عامل نیز از دیگر دلایلی است که میتواند به عدم ایندکس گوگل منتهی گردد. بعد از بررسی و ارزیابی هاست سایت اگر اختلالات شدیدی در آن مشاهده کردید هاست تغییر دهید.
۱۴- موارد مربوط به AJAX/ -javaScript:
این دو زبان به راحتی توسط خزندههای گوگل درک نمیشوند. البته سایتهایی که به این دو زبان نوشته شدهاند ایندکس میشوند. با این حال باید کاملا اصولی و استاندارد ترکیب شده باشند تا توسط خزندههای گوگل ایندکس شوند.
۱۵- گوگل قادر به پیدا کردن را سایت نیست:
سایتهایی که به تازگی راه اندازی شدهاند مدتی برای ایندکس مطالب خود با مشکل مواجه هستند. این موارد در ابتدای راه اندازی سایت طبیعی بوده و نیازی به نگرانی ندارد. اما اگر بعد از گذشت چند هفته همچنان توسط گوگل ایندکس صورت نگرفت نقشه سایت را مجدد بررسی کنید. در بسیاری از اوقات ضروری است تا شما تقاضای ایندکس گوگل سایت را داشته باشید.
برای اضافه کردن صفحات به ایندکس گوگل چه باید کرد؟
برای اضافه کردن صفحات به ایندکس ابتدا باید سایت مپ و فایل روبوت تکست را بررسی کنیم. اگر در این دو بخش مشکلی وجود نداشته باشد از طریق گوگل وبمستر اقدام به افزودن صفحه به ایندکس میکنیم. در این ابزار گزینهای به نام Fetch as Google وجود دارد. محل قرارگیری این گزینه قسمت چپ گوگل وبمستر و زیر بخش کراول است. بعد از وارد شدن به قسمت fetch as google آدرس صفحاتی که ایندکس نشدهاند را در کادر مورد نظر درج نمایید. توجه کنید که آدرسهای نوشته شده در این بخش باید کامل و دقیق باشند. از این طریق صفحات مورد نظر بعد مدتی ایندکس گوگل خواهند شد.
برای افزایش سرعت ایندکس مطالب در گوگل چه باید کرد؟
راهکارهایی وجود دارد که هم در گوگل و هم در دیگر موتورهای جستجو ایندکس مطالب سریعتر انجام شود. این راهکارها به اختصار عبارتند از:
- برنامه زمانی منظم چه برای انتشار و چه برای آپدیت نمودن مطالب موجود در سایت یکی از فاکتورهای مهم است.
- محتواهای کپی شده از دیگر وب سایتها را در سایت خود منتشر نکنید. کپی کردن محتوا حتی در داخل یک سایت هم پیشنهاد نمیشود.
- ثبت نمودن نقشهی سایت در سرچ کنسول گوگل نیز موثر میباشد.
- برقراری لینک داخلی بین صفحات مختلف سایت از دیگر راهکارهایی است که به افزایش سرعت ایندکس گوگل منجر میشود.
- بهینهسازی کردن تصویرهای موجود در سایت
- استفاده کردن از هاست مناسب و قابل اعتماد
- پینگهای دستی و مطلع نمودن گوگل از منتشر کردن مطالب جدید
میباشند.
حتما بخوانید : دلایل شکست پروژه های سئو
دلایل دیر ایندکس شدن سایت در گوگل چیست؟
گاهی از اوقات مطالب و صفحات سایت دیر ایندکس میشوند. علل این تاخیر در ایندکس شدن مطالب را میتوان در موارد زیر یافت:
۱- سایت طراحی نامناسبی دارد:
گاهی طراحیهای سایت اصولی و استاندارد نیستند. به همین خاطر رباتهای گوگل برای پیدا کردن مطالب با مشکلاتی مواجه میشوند. برخی از تکنولوژیهای وب نیز اختلالاتی را در سایت ایجاد میکنند که موجب تاخیر در ایندکس مطالب میگردد. توصیه میشود تا متخصصین حوزه برنامه نویسی در این خصوص مشورت کنید.
برای طراحی و ایجاد سایت در بهترین سطح کیفی و بالاترین استانداردها با مهندسین ما در وب کوک تماس حاصل فرمایید. تجربه و دانش روز دو فاکتور مهم و اصلی در اعضای خانوادهی بزرگ وب کوک محسوب میشود. با وب کوک موفقیت در نزدیکی شما است.
۲- لینکدهی مناسب داخلی و خارجی در سایت وجود ندارد:
هر یک از صفحات سایت لازم است تا دست کم به یکی دیگر از صفحههای سایت مرتبط باشند. صفحاتی که به هیچ صفحهی داخلی و خارجی لینک نمیشوند ایندکس گوگل نیز نخواهند شد.
۳- سرعت بارگذاری سایت پایین است:
گوگل بیشتر به سراغ سایتهایی میرود که سرعت لود بالایی داشته باشند. بنابراین برای ایندکس شدن سریعتر مطالب بهتر است روی سرعت سایت خود کار کنید.
۴- عدم استفاده از نقشه سایت گوگل:
با توجه به وجود تعداد بسیار زیادی سایت و صفحه وجود نقشهی سایت در ایندکس مطالب ضروری است. البته نداشتن نقشه سایت مانع ایندکس شدن مطالب نمیشود اما میتواند ایندکس با تاخیر را موجب شود.
۵- مشکلات سرور سایت:
مشکلات مربوط به سرور سایت و قطعیهای مداوم آن موجب تاخیر در پروسه ایندکس مطالب نیز خواهد شد. توجه داشته باشید وجود این مشکل در دراز مدت موجب حذف سایت از صفحه نتایج گوگل میشود. پس برای رفع مشکلات و قطعی سرور سایت به سرعت اقدام نمایید.
کلام پایانی:
ایندکس گوگل از ارکان اصلی در کسب رتبه سایت میباشد. به همین خاطر عدم ایندکس یا دیر ایندکس شدن میتواند به ضرر استراتژِیهای سئوی سایت باشد. بعد از اینکه مطالب و صفحات سایت ایندکس شدند میتوانید روی سئوی سایت برای کسب جایگاه تمرکز کنید. نظرات خود را با ما در وب کوک به اشتراک بگذارید.
حتما بخوانید : نحوه استفاده از Google Remove URL