認識幾個搜索引擎爬蟲 |
發布時間: 2012/9/23 15:45:07 |
Googlebot 谷歌搜索引擎爬蟲,當它第一次出現在你網站日志時,谷歌和網站的漫長交往正式開始。Googlebot 是 Google 的網頁抓取機器人(有時稱為“信息采集軟件”)。抓取是 Googlebot 發現新網頁和更新的網頁以將這些網頁添加到 Google 索引中的過程。
Baiduspider 百度蜘蛛,大多數中文網站辛辛苦苦,就是為了有朝一日能和這個蜘蛛搞對眼,對眼了小站也就有油水了。Baiduspider 是百度搜索引擎的一個自動程序,它的作用是訪問互聯網上的網頁,建立索引數據庫,使用戶能在百度搜索引擎中搜索到您網站上的網頁。 Sogou+web+spider:sogou spider是搜狗搜索引擎的一個自動程序。它的作用是訪問互聯網上的網頁,存儲到本地數據庫中,并從中發現新的鏈接,走訪互聯網,使用戶能在搜狗搜索引擎中搜索到您網站的網頁。 ia_archiver:這個是Alexa的蜘蛛爬蟲,和Googlebot、Baiduspider一樣,為收集用戶數據而存在。 Sosospider+、HuaweiSymantecSpider、MJ12bot、+bingbot、ichiro等等不一而足。我們要對它們來訪表現出熱情與好客,有朋自遠方來,要不亦樂乎? 本文出自:億恩科技【www.vbseamall.com】 |