پيگيري 12000 پيغام خطاي شاخص كه در ابزار وبمستر رخ مي دهد، مي تواند شما را نسبت به ريشه كن كردن اين ارورها (كه ظاهرا غيرقابل حل هستند) اميدوار كند. كليد مشكل اين است كه بدانيم چه ارورهايي در سايت شما تاثيرگذارند و چه ارورهايي واضح و براحتي قابل حل هستند و بر روي سئو سايتتان چه تاثيري دارن. بنابراين پس از آن شما مي توانيد با مشكلات واقعي روبرو شويد. دليل و اهميت بررسي و توجه به اين ارورها، تاثيري است كه روي كاربران شما و جستجوگر گوگل دارد.

داشتن هزاران ارور 404 خصوصا آنهايي كه متعلق به آدرس هاي ايندكس شده يا لينك شده به صفحات ديگر هستند، بصورت بالقوه باعث آزار كاربران شما مي شود. اگر آنها وارد چندين صفحه 404 در يك بخش شوند، اعتمادشان نسبت به سايت شما كاهش مي يابد و البته باعث نااميدي مي شود.

همچنين نمي خواهيد كه لينك هاي ارسالي از سوي سايت هاي ديگر را با رسيدن آنها به صفحه اي مرده! از دست بدهيد. شما مي توانيد با اصلاح ارور جستجو و ارسال آن به سمت آدرسي صحيح باعث بهبود رنك خود شويد.

مضاف بر اين، گوگل بودجه جستجو مشخصي را براي سايت شما درنظر گرفته است و اگر مقدار زيادي از زمان روبوت صرف جستجو صفحات خطاي شما شود، زمان كافي براي بدست آوردن اطلاعات با ارزش صفحاتي كه واقعا كار مي‌كنند را ندارد.

بدون بحث اضافي، بخش اصلي ارورهاي جستجو كه توسط ابزار وبمستر گوگل گزارش شده است در پايين آمده است:

(البته دقت داشته باشيد شايد و انشاا… شما همه بخش هاي زير را در بخش crawl errors خود نداشته باشيد چراكه هر بخشي كه مشكل داشته باشد را گوگل ليست ميكند)

HTTP

اين بخش معمولا صفحاتي را كه ارورهايي مانند صفحات 403 را دارا مي باشند ، نشان مي دهند. براي كسب اطلاعات بيشتر از ليست همه‌ي كدهاي HTTP ، صفحه راهنماي گوگل خود را بررسي كنيد.

In Sitemaps (اين مورد خيلي كم رخ مي دهد چراكه سايت مپ هاي جديد همگي دايناميك هستند)

اغلب ارورها در نقشه سايت توسط نقشه هاي سايت قديمي ايجاد مي شوند كه همچنان بصورت 404 هستند يا صفحه هاي ليست شده در نقشه سايت فعلي به يك ارور 404 مي رسند. اطمينان حاصل كنيد كه تمامي لينك هاي موجود در نقشه سايت شما بخوبي كار مي كنند و براي جستجوگر گوگل مفيد هستند.

ذكر اين نكته نيز ضروري به نظر مي رسد كه sitemap ها فقط توسط ربات هاي جستجوگر استفاده مي شوند.

يكي از كارهاي طاقت فرساي گوگل اين است كه نقشه هاي قديمي سايت را كه حذف كرده ايد، بررسي مي كند تا نقشه هاي سايتي و آدرس هايي كه واقعا حذف شده اند را بيايد. اگر نقشه سايت قديمي داريد كه از ابزار وبمستر حذف كرده ايد، و دوست نداريد كه مورد جستجو قرار گيرد، مطمئن شويد كه آن نقشه 404 به نقشه سايت فعلي شما redirect نشود.

به گفته يكي از كارمند گوگل، سوزان موسكوا:

“بهترين راه براي جلوگيري از موردجستجو قرار گرفتن آدرس‌ها و نقشه‌هاي قديمي سايت توسط روبات گوگل، اين است كه آنها را تبديل به 404 كنيد. اگر ما ببينيم كه آدرسي بطور پي در پي 404 مي شود، از جستجو كردن آن دست مي كشيم، و سپس جستجوي نقشه سايت را متوقف مي كنيم، اين كار را از تب all sitemaps انجام دهيد “.

Not Followed

بيشتر اين ارورها اغلب از ارورهاي redirect بوجود مي آيند. اطمينان حاصل كنيد كه زنجيره redirect را حداقل كرده ايد، زمان redirect براي بازه كوتاهي تنظيم شود و از meta refreshes در بالاي صفحات خود استفاده نكنيد.

جستجوگر گوگل بعد از يك زنجيره redirect خسته مي شود.

نتايج و آثار redirect كردن:

• هنگاميكه صفحات را براي هميشه redirect مي كنيد، مطمئن شويد كه آنها به كد HTTP مورد نظر برميگردند (301 براي انتقال دائمي).
• مطمئن شويد كه حلقه‌ي redirect نداريد، يعني نقاط redirect بخودشان بازگردند!
• اطمينان حاصل كنيد كه نقاط را صفحات درستي redirect كنيد نه صفحات 404 يا ديگر صفحاتي كه ارور دارند مانند (server error يا 403 forbidden).
• مطمئن شويد كه redirect هاي شما در حقيقت به يك صفحه‌ي داراي محتوا برسد.

ابزارهاي مورد استفاده:

• Redirect هاي خود را با ابزاري براي چك كردن پاسخ header مانند URL Valet يا Check Server Headers Tool بررسي نماييد.
• Screaming Frog ابزاري عالي براي چك كردن صفحاتي از سايت شما است كه redirect 301 و ارور 404 و 500 را نشان ميدهند. نسخه رايگان آن 500 صفحه را پوشش مي دهد، اگر نيازي بيشتر از اين داريد بايد نسخه نهايي آن را بخريد.
• Search Engine Indexing Checker ابزاري بسيار مفيد است كه شما مي توانيد ليستي از آدرس هايتان كه به عنوان redirect ثبت كرده ايد را در آن قرار دهيد. اين ابزار به شما اين اجازه را مي دهد كه آدرسهايتان را در فضايي بررسي كنيد تا ببينيد كدامشان ايندكس شده است و كدامشان نه. اگر آدرس‌هاي اوليه شما كه redirect شده اند ديگر ايندكس نيستند به اين معني است كه گوگل بعد از مشاهده redirect 301، آدرس قبلي را از ليست ايندكسش خارج كرده است و شما نيز مي توانيد آن را از خط redirect فايل .htaccess پاك نماييد.

سايت خود را بصورت فقط متن (با مشاهده نسخه كَش سايت از ليست SERP گوگل) آزمايش كنيد. مطمئن شويد كه مي توانيد تمامي لينك هايتان را ببينيد و هيچ لينكي توسط جاوااسكريپت، فلش، كوكي ها، شماره بخش‌ها، DHTML و فريم ها پنهان نشده است.

همواره از لينك هاي مستقل و نه لينك هاي وابسته استفاده كنيد. اگر ويرايشگرهاي مخرب مطالب، روي عكسها و لينك هاي شما اثر مي گذارند مي توانند به لينك هاي وابسته شما ارجاع دهند و اگر به شكل نادرستي تجزيه شود ممكن است شما نتوانيد ارورهاي نمايان شده در ابزار وبمسترتان را ببينيد، اين ارورها ممكن است در يكي از سايت هاي ما اتفاق بيفتد و معمولا شناسايي لينك اصلي كه باعث اين ارور شده است غيرممكن است.

Not Found

ارورهاي “پيدا نشد” بخش بزرگي از ارورهاي سايت شما را شامل مي شود. ارورهاي 404 مي توانند از طرق محدودي رخ دهند:

• شما صفحه اي از سايتتان را حذف كرده ايد و آن را redirect 301 نكرده ايد.
• شما نام صفحه اي را در سايتتان تغيير داده ايد و آن را redirect 301 نكرده ايد.
• شما مشكل تايپي در لينكي داخلي روي سايتتان داريد كه لينك مي دهد به صفحه اي كه وجود ندارد.
• شخص ديگري از سايت ديگري به سايت شما لينك مي دهد اما در لينكشان مشكل تايپي وجود دارد.
• شما سايتي را به دامنه اي جديد منتقل كرده ايد و زيرپوشه ها دقيقا منطبق نيستند.

بهترين راه حل:

اگر لينك هاي خوبي را به صفحه 404 داده ايد، بايستي آنها را redirect 301 كنيد به صفحه اي كه بايد باشد، يا اگر آن صفحه حذف شده است بايستي به صفحه اي مشابه redirect 301 كنيد. نيازي نيست كه همه ي صفحات 404 را redirect 301 كنيد. اينكار در واقع اگر redirect هاي زيادي داريد باعث كاهش سرعت سايت شما مي شود. اگر صفحه قديمي يا دسته بزرگي از صفحات كه مي خواهيد كاملا پاك شوند، در سايتتان داريد، بدون هيچ مشكلي آنها را به حالت 404 باقي بگذاريد. اين در واقع راه پيشنهاد گوگل است كه اجازه مي دهد روبوتش بداند چه صفحاتي را شما ديگر نمي خواهيد.

Restricted by robots.txt

اين ارورها بيشتر اطلاعاتي هستند با وجود اينكه نشان مي دهد كه تعدادي از آدرس هاي شما توسط فايل robot.txt تان بلاك شده است لذا اولين گام اين است كه فايل robot.txt را بررسي كنيد و مطمئن شويد كه دقيقا كداميك از آدرس هايي كه ليست شده اند را مايليد بلاك كنيد.

گاهي اوقات آدرس هايي ليست شده است كه بطور واضح توسط robot.txt بلاك نشده است. چرا كه امكان دارد بعضي از آنها به دلايل عجيب و غريبي بلاك شده باشند. روشي خوب براي فهميدن اين موضوع اين است كه آدرس هايي پرسشي در آدرس پيشنويس اجرا شوند و پاسخ كد به آن ديده شود. همچنين فايل .htaccess را چك كنيد تا اگر قانوني براي redirect شدن آن آدرس وجود دارد آن را ببينيد.

Soft 404

اگر صفحاتي داريد كه محتواي كمي دارند ممكن است بعنوان soft 404 دسته بندي شوند. اين دسته بندي دلخواه نيست، اگر تمايل داريد كه صفحه اي 404 شود بايستي مطمئن شويد كه نتيجه آن hard 404 است، و اگر صفحه شما بعنوان soft 404 ليست شده است و در عين حال يكي از صفحات اصلي سايت شما است بايستي آن را اطلاح كنيد تا مطمئن شويد به ارور ختم نمي شود.

اگر صفحه اي 404 را بازگرداني مي كنيد و بصورت soft 404 ليست شده است، به اين معناست كه كد پاسخ header HTTP كد پاسخ Not Found صفحه 404 را بازگرداني نمي كند. پيشنهاد گوگل را نيز بخوانيد.

هنگاميكه براي يكي از مشتريانمان مشغول redirect كردن هزاران آدرس خراب به صفحه اي موقتي بوديم كه فقط يك عكس و مقدار كمي متن داشت، دسته اي از اين ارورها را مشاهده نموديم. گوگل اين را به عنوان يك صفحه 404 رايج درنظر گرفت حتي با اينكه landing page بود و تمامي آدرس هاي redirect شده اش بصورت soft 404 دسته بندي شده بود.

Timed Out

اگر صفحه اي زمان زيادي براي لود شدن مي گيرد، روبوت گوگل پس از مدتي از تلاش براي فراخواني آن دست مي كشد. گزارشات سرورتان را براي هر مسئله اي چك كنيد و همچنين سرعت لود صفحاتي كه زمان بارگذاري شان به پايان مي رسد را چك كنيد.

انواع ارورهاي timed out :

• DNS lookup timeout: جستجو روبوت گوگل به سرور دامنه شما نمي رسد، تنظيمات DNS را چك كنيد. گاهي اوقات اگر همه چيز درست باشد پايان گوگلفرا مي رسد. Pingdom ابزار بسيار خوبي براي چك كردن سلامت DNS دامنه شما دارد و هر مشكلي كه بوجود آيد را به شما اعلام مي كند.
• URL-timeout : اروري از صفحات بخصوصي از سايتتان نه از همه ي دامنه.
• Robot.txt timeout: اگر robot.txt شما وجود دارد اما در زمانيكه گوگل آن را جستجو مي كند، سرور time out شود، گوگل جستجو سايت شما را تازمانيكه بتواند فايل robot.txt را بررسي كند به تاخير مي اندازد تا مطمئن شود آدرس هايي كه بررسي كرده است قبلا توسط robot.txt بلاك نشده اند. توجه كنيد كه اگر فايل robot.txt نداريد و گوگل براي يافتن آن با ارور 404 مواجه شود، به جستجو سايت ادامه مي دهد با اين فرض كه چنين فايلي وجود ندارد.

Unreachable

ارورهاي غيرقابل دسترس مي تواند از ارورهاي داخلي سرور يا مشكلات DNS نشأت بگيرد. يك صفحه هم مي تواند بصورت غيرقابل دسترس باشد اگر robot.txt جستجوگر را از مشاهده آن صفحه منع كرده باشد. ارورهاي ممكن در حالت غيرقابل دسترس “بدون پاسخ”، “ارور 500” و “مشكل DNS” مي باشد.

نتيجه گيري

ابزار وبمستر گوگل بدون ايراد نيست. در حاليكه ما قدرت گوگل را به دليل چيزهايي كه مي بيند تحسين مي كنيم، ولي همچنان مواردي وجود دارد كه نياز به اصلاح دارند.گوگل بهترين موتور جستجو در جهان است، ولي شما نمي توانيد تمامي گزارشات ارورتان را جستجو كنيد تا آدرسي از ماه قبل كه شما را بالا نگه داشته بود را پيدا كنيد. حداقل آنها مي توانند گزارش خوبي در اين مورد تهيه كنند اما با اينحال شما بايد بصورت دستي روي 20 صفحه كليك كنيد تا به صفحه 21 برسيد. يك راه دور زدن اين مشكل اين است كه شماره صفحه را با ويرايش آخر رشته آدرسي كه بخشي از ارور را نشان ميدهد، اصلاح كنيد. شما مي توانيد تمامي داده ها را در يك فايل اكسل دانلود كنيد كه بهترين راه حل است اما گوگل بايد ابزار وبمستر را اپديت كند تا امكان جستجو از درون نرم افزار را بدهد.

همچنين صاحب سايت بايد قدرت پاك كردن تمامي نقشه هاي سايت را داشته باشد حتي اگر شخص ديگري يكسال قبل روي سايت چيزي اپلود كرده باشد. درحال حاضر شما فقط مي توانيد نقشه سايت را كه توسط خودتان در ابزار وبمستر آپلود شده است حذف كنيد. اگر سپيده از اصفهان نقشه سايت عكسي را يكسال قبل آپلود كرده باشد همچنان در تب همه ي نفشه سايتها نمايش داده مي شود. راه حل رها شدن از شر اين مشكل اين است كه اجازه دهيد نقشه سايت موردنظر بصورت 404 باشد و نهايتا باعث كمرنگ شدن آن مي شود.

شايد از زمانيكه Bing شروع به بهينه كردن ابزار وبمستر خودش كرده است، ما شاهد رقابتي بين دو موتور جستجو باشيم. و نهايتا روزي شايد بتوانيم كنترل سايتمان را در موتورهاي جستجو بدست بگيريم.

پس با آموزش هاي گفته شده سعي در بهبود سئو سايت خود كنيد.

همچنين مقالات آموزش سئو مارا نيز دنبال كنيد.