همانطور که می‌دانید google search console چند سالی است جایگزین google webmaster tools شده و مهمترین مزیت‌های آن را نیز می‌توان دو بخش اصلی “Search Analytics” و “Links to Your Site” دانست. در این مقاله از مجله اینترنتی ماهان سرور قصد داریم نحوه بررسی و رفع خطاهای سایت که بخشی از خطاهای crawl در گوگل سرچ کنسول است را به شما آموزش بدهیم. پس همچنان با ماهان سرور ارائه دهنده خدمات خرید هاست و دامنه ، سرور اختصاصی و سرور مجازی همراه باشید.
نکته‌ای که باید در ابتدای این مقاله به آن اشاره کنیم این است که اگر شما خطاهای crawl گوگل سرچ کنسول را نادیده بگیرید، به مرور وضعیت وب سایت شما از خوب به بد و از بد به بدتر تغییر خواهد کرد. پس به عنوان مدیر وب سایت و متخصص سئو سعی کنید برررسی خطاهای crawl را به صورت یک عادت هفتگی در آورید.
گوگل سرچ کنسول خطاهای crawl را به دو بخش اصلی خطاهای سایت و خطاهای URL تقسیم کرده است. این نوع دسته بندی از آن جهت که سبب سهولت در اولویت بندی رفع خطاها می‌شود بسیار کاربردی است. معمولا خطاهای URL به دلیل اینکه مربوط به صفحات مستقل هستند در اولویت دوم قرار می‌گیرند. اما نادیده گرفتن خطاهای سایت می‌تواند باعث آسیب کلی به وب سایت شما شود. در این مقاله به معرفی انواع خطاهای سایت و راه حل‌های موجود برای آنها می‌پردازیم و در مقاله دیگری خطاهای url را مورد بررسی دقیق‌تر قرار می‌دهیم.
خطاهای سایت یا site errors
قسمت site errors خطاهایی را که مربوط به کل وب سایت است را نشان می‌دهد. این خطاها به دلیل تاثیر زیادی که می‌توانند روی وب سایت بگذارند، بسیار مهم هستند و باید سریع به آنها رسیدگی شود. گوگل این خطاها را به مدت ۹۰ روز در داشبورد crawl errors نمایش می‌دهد. اگر در ۹۰ روز گذشته فعالیتی که مربوط به کل سایت بوده است را داشتید، قسمت site errors به شکل زیر نمایش داده خواهد شد.
و اگر هم در ۹۰ روز گذشته هیچ گونه خطایی در این بخش نباشد، این بخش به شکل زیر نمایش داده خواهد شد.
اگر در داشبورد google search console تصویری مانند تصویر بالا را مشاهده کردید، باید از چنین لحظه نادری لذت ببرید.
هر چند وقت باید قسمت site errors را بررسی کنیم؟
بهترین حالت که می‌توانیم آن را ایده‌آل ترین حالت نیز بنامیم، چک کردن روزانه site errors است. اما اگر این کار پس از مدتی برای شما کسل کننده شد، بویژه اگر خطایی در این بخش مشاهده نکردید، نباید آن را به حال خود رها کنید. پیشنهاد ما چک کردن منظم site errors است. زیرا ۱۰۰ درصد بدون خطا بودن برای یک وب سایت بسیار حیاتی است.
همانطور که در تصاویر بالا مشاهده کردید قسمت خطاهای سایت شامل سه بخش مختلف است که آنها را در ادامه بررسی خواهیم کرد.
خطاهای DNS
خطاهای DNS بسیار مهم هستند و بی توجهی به آنها می‌تواند برای وب سایت شما پیامدهای زیادی داشته باشد. شاید بتوان خطاهای DNS را اولین و مهمترین خطاهای سایت دانست. زیرا اگر ربات گوگل به خطاهای DNS برسد به این معنی است که نمی‌تواند با دامنه شما ارتباط برقرار کند.
توجه داشته باشید که گاهی اوقات دامنه شما در پنل یک شرکت هاستینگ است و هاست شما را شرکت دیگری ارائه می‌دهد. برخی اوقات نیز نام دامنه و هاست ، هر دو از پنل یک شرکت مدیریت می‌شوند. با اینکه گوگل با وجود مشکلات DNS باز هم به ربات خود اجازه ارتباط با سایت شما را می‌دهد، اما بهتر است در صورت بروز مشکلات مربوط به DNS، به سرعت آنها را حل کنید.
راه حل
- در گوگل سرچ کنسول بخشی به نام fetch as google وجود دارد که دارای دو گزینه fetch و fetch and render است. اگر فقط می‌خواهید خیلی سریع وضعیت اتصال DNS را بررسی کنید، می‌توانید از گزینه fetch استفاده کنید. اما از طرفی فرایند fetch and render با وجود اینکه کند‌تر است، اما برای مقایسه چگونه دیده شدن وب سایت شما توسط گوگل و یک کاربر عادی بسیار مفید است.
- اگر گوگل نتوانست صفحات شما را به درستی دریافت و رندر کند، حتما با ارائه دهنده DNS خود تماس بگیرید و مساله را با آنها نیز چک کنید و ببینید مشکل از کجاست.
- اطمینان حاصل کنید که سرور شما کد ۴۰۴ (صفحه یافت نشد) یا کد ۵۰۰ (خطای سرور) را نمایش می‌دهد. این کدها دقیق‌تر از نمایش خطای DNS هستند.
خطاهای server
اغلب اوقات خطای سرور به این معنی است که پاسخ سرور شما به یک درخواست بیش از حد طول می‌کشد و اصطلاحا request times out رخ می‌دهد. هنگامی که ربات گوگل در حال ردیابی سایت شماست، زمان مشخصی را برای بارگزاری وب سایت منتظر می‌ماند. اگر این زمان طول بکشد، ربات گوگل متوقف خواهد شد.
خطاهای سرور معمولا زمانی که وب سایت شما با ترافیک بیش از حد روبرو شود رخ می‌دهند. برای اجتناب از این موضوع مطمئن شوید که سرویس مناسبی را از ارائه دهنده خدمات میزبانی وب خود دریافت کرده‌اید. به عنوان مثال هاست مناسب وب سایتی که هدف آن داشتن بازدید کننده زیاد است، هاست پربازدید می‌باشد.
همانند خطای DNS حل کردن فوری خطای سرور نیز ضروری است. زیرا وجود خطای سرور به کلیت وب سایت شما آسیب زده و مانع از crawl کردن وب سایت توسط ربات گوگل خواهد شد. در چنین مواقعی مطمئن شوید که ربات گوگل می‌تواند به DNS متصل شود.
راه حل
گاهی اوقات وب سایت شما در هنگام مشاهده خطای سرور، همچنان به خوبی کار می‌کند. این حالت ممکن است مربوط به خطاهای سروری باشد که در گذشته وجود داشته‌اند، اما هم اکنون حل شده‌اند. با این حال برای جلوگیری از وقوع دوباره این موارد، باید برخی تغییرات را انجام دهید. در ادامه توصیه‌ای کلی که گوگل برای حل این مشکل ارائه داده است را با هم مطالعه می‌کنیم.
از fetch as google برای بررسی اینکه آیا ربات گوگل می‌تواند وب سایت شما را بخواند استفاده کنید. اگر با این کار محتوای صفحه اصلی وب سایت شما بدون هیچ مشکلی فراخوانی شد، می‌توانید فرض کنید که گوگل در مجموع می‌تواند به درستی به سایت شما دسترسی پیدا کند.
پیش از اینکه بتوانید خطای سرورتان را حل کنید، باید مشخص کنید کدام نوع خطای سرور را دریافت می‌کنید. این خطاها عبارتند از:
- Timeout
- Truncated headers
- Connection reset
- Truncated response
- Connection refused
- Connect failed
- Connect timeout
- No response
بررسی اینکه هر کدام از این خطاها دقیقا چه هستند و راه حل تک تک آنها چیست، از حوصله این مقاله خارج است. شما می‌توانید برای دریافت راهنمایی های بیشتر در این خصوص به صفحه راهنمای google search console مراجعه کنید.
خطاهای مربوط به ربات‌ها
این خطا مربوط به زمانی است که ربات گوگل نمی‌تواند فایل robots.txt را واقع در yourdomain.com]/robots.txt] بازیابی کند. در ادامه بخشی از مستندات آموزشی گوگل در این رابطه آمده است.
اگر وب سایت شما شامل محتوایی است که نمی‌خواهید توسط موتورهای جستجو فهرست شوند، به یک فایل robots.txt نیاز دارید. اما اگر چنین نیست، به همان یک فایل هم نیازی نیست. اگر وب سایت شما فایل robots.txt را ندارد، سرور شما با یک صفحه ۴۰۴ به درخواست ربات گوگل پاسخ می‌دهد و ما همچنان بدون هیچ مشکلی به crawl کردن سایت شما ادامه می‌دهیم.
درجه اهمیت این مشکل نسبت به خطاهای DNS و سرور پایین تر است و نیاز به اقدام فوری نیست. بویژه برای وب سایت‌های استاتیک و کوچکی که اخیرا تغییراتی نداشته اند. اما با این حال این مشکل نیز باید حل شود.
اگر محتوای وب سایت شما به صورات روزانه منتشر می‌شود و در گوگل سرچ کنسول چنین مشکلی را مشاهده می‌کنید، حل فوری آن ضروری است. زیرا در غیر این صورت، ربات گوگل نمی‌تواند فایل robots.txt شما را بارگزاری کند. در نتیجه گوگل نمی‌تواند وب سایت شما را crawl کرده و صفحات جدید آن را ایندکس کند.
راه حل
ابتدا اطمینان حاصل کنید که فایل robots.txt شما به درستی پیکربندی شده است. پس از آن صفحاتی را که درباره آنها به ربات گوگل دستور داده‌اید که crawl نشوند را چک کنید. بعد از آن مطمئن شوید که دستور “Disallow:/” به غیر از صفحاتی که بنا به دلایلی نمی‌خواهید توسط ربات گوگل Crawl شوند، برای دیگر صفحات به کار نرفته باشد.
اگر همچنان خطا دریافت می‌کنید، از یک ابزار برای چک کردن هدر سرور استفاده کنید و ببینید آیا سایت شما خطای ۲۰۰ یا ۴۰۴ را باز می‌گرداند.
نکته جالب در خصوص این مشکل این است که سایت شما بهتر است که بدون فایل robots.txt باشد تا یک فایل با پیکربندی نادرست. زیرا در صورت نداشتن این فایل، گوگل همچنان به crawl کردن وب سایت شما ادامه می‌دهد. اما در صورتی که وجود این فایل باعث بروز خطا بشود، تا زمانی که این مشکل حل نشده است گوگل وب سایت شما را crawl نکرده و صفحات شما ایندکس نمی‌شوند.
امیدواریم که این مقاله به شما در رفع خطاهای سایت در گوگل سرچ کنسول کمک کرده باشد. در مقاله دیگری از مجله اینترنتی ماهان سرور به انواع خطاهای URL پرداخته و راه حل آنها را بیان کرده ایم. ممنون از اینکه با ما همراه بودید.
