如何解決Google網站管理員工具的抓取錯誤

 

    網站站長工具將錯誤分為兩類：網站錯誤(siteerrors)和鏈接地址錯誤(URLerrors)。如果在一個網站上出現多個抓取錯誤，那么你的網站信任度會下降，甚至會影響到排名，當然這工具對于百度優化同樣有效。那么應當如何解決Google網站管理員工具的抓取錯誤呢。

 

 

 

    通過Googlebot抓取的錯誤分類就看知道是什么導致抓取錯誤的原因了。

 

    一、HTTP的錯誤

 

    當一個網站上的網頁(例如，當用戶在瀏覽器中訪問您的網頁或Googlebot抓取頁面時)到您的服務器發出請求，服務器返回HTTP狀態碼響應請求。

 

    如果出現403狀態，可以不用理睬，這表明是你的主機阻止了Googlebot抓取。對于所有HTTP狀態碼的列表文件，可以參考GoogleHTTP狀態碼幫助頁面。

 

    二、Sitemap中的錯誤

 

    Sitemap錯誤往往會造成404錯誤頁面，或在當前地圖返回一個404錯誤頁面，如果出現404錯誤頁面請檢查Sitemap中所有的鏈接，

 

    Google會不斷抓取你已經刪除的Sitemap，這點很郁悶，但也有辦法解決：確保舊的Sitemap已經在管理員工具中被刪除。如果不想被抓取，確保舊Sitemap出現404或者重新定向到新的Sitemap。

 

    來自Google員工SusanMoskwa解釋道：

 

    阻止Googlebot的爬行，最好的辦法是使這些網址(例如舊的sitemaps)出現404，當我們看到一個URL多次出現404后，Googlebot會停止爬行。

 

    三、重定向錯誤

 

    有些錯誤是因為301從定向引起的，執行重定向后要注意什么：

 

    1：確保他們返回到正確的HTTP狀態碼。

 

    2：確保沒有任何循環重定向。

 

    3：確保重定向指向有效的網頁，而不是404頁，或其他錯誤頁，如503(服務器錯誤)或403(禁止抓取)

 

    4：確保重定向不是指向一個空頁面。

 

    四、404錯誤

 

    404錯誤可能會出現在以下幾個方面：

 

    1：刪除了網站上的網頁;

 

    2：改變了網頁的名稱;

 

    4：鏈接到了一個不存在的頁面;

 

    5：其他網站鏈接到你網站上一個不存在的頁面;

 

    6：網站遷移到一個新的域名不完全匹配的網站。

 

    五、受robots.txt限制

 

    還有一個原因是robots.txt文件阻止了Googlebot的抓取，如果出現大量抓取錯誤，第一步應該檢查robots.txt

 

    六、軟404錯誤

 

    通常情況下，當有人請求的頁面不存在，服務器將返回一個404(未找到)錯誤。除了在響應請求的頁面不存在返回404代碼，服務器也將顯示一個404頁。這可能是一個標準的“未找到文件”的消息，或旨在提供更多信息的用戶，它可能是一個自定義頁面。頁的內容是由服務器返回的HTTP響應完全無關。僅僅因為一個頁面顯示404文件未找到消息并不意味著它是一個404頁。

 

 

 

    七、超時

 

    網站超時也是出現抓取錯誤的原因之一，如果出現超時現象，Googlebot會停止抓取。超時的錯誤類型有：

 

    1：DNS超時，可以使用Nslookup命令檢測DNS，出現DNS超時最大的因素是域名服務商的DNS服務器不穩定。

 

    2：網址超時，在某一個特定頁面，而不是整個域的錯誤。

 

    3：robots.txt超時，如果你網站有robots.txt，但服務器超時，Googlebot會假定該文件不存在。