搜索引擎的兩種基本抓取策略

大家好，這里是雅安seo優化博客。今天我們來說說搜索引擎的收錄過程中所采取的收錄抓取策略。

　　蜘蛛在完成對robots.txt文件的訪問之后便會開始對所進入的頁面進行判斷是否符合收錄標準，如果符合，那么提取其內容和鏈接。這個頁面抓取完成之后，還沒完，蜘蛛還會順著所提取的鏈接探索下去，從這個鏈接爬到下一個頁面，又從下一個頁面上的鏈接爬到再下一個頁面......

　　由于互聯網上的頁面鏈接結構異常復雜，蜘蛛需要采用一定的策略才能爬行到網上的所有頁面。最簡單的搜索引擎抓取策略有兩種：

　　1、深度優先策略

　　

 

 

　　如上圖，簡單點來說就是沿著一條路線垂直深入的爬行下去，直到完成任務。

　　2、廣度優先策略

　　

 

 

　　如上圖，簡單說就是先把指定的一個頁面上的所有鏈接爬行一遍，然后再從每條鏈接深入同樣平行地進行爬行。

　　在實際中，這兩種策略是同時發生的，理論上只要給予足夠的時間，搜索引擎蜘蛛就可以爬完所有的頁面。但是蜘蛛的帶寬資源、時間并不是無限的，所以蜘蛛只能爬行一定的時間，權重越高的網站自然爬行的時間越長。

　　搜索蜘蛛的目的就是探索到有價值的頁面并收錄，這就是為什么權重高的站爬行時間長，抓取度深的原因。所以我們建議新站的網站鏈接層次不要過深，免得蜘蛛在短時間內爬行不到。