搜索引擎是如何收錄到那么多網(wǎng)頁的呢？這個搜搜引擎用以抓取互聯(lián)網(wǎng)上數(shù)以億計的網(wǎng)頁的程序，百度的就叫做Baiduspider - 百度蜘蛛。

          它是一個程序，夜以繼日得在互聯(lián)網(wǎng)上找尋新的URL，接著抓取URL上的內(nèi)容，返回到百度的網(wǎng)頁暫存數(shù)據(jù)庫。百度用來抓取網(wǎng)頁內(nèi)容的程序，叫做Baiduspider，抓取其他內(nèi)容的蜘蛛，則是新的名字：

    產(chǎn)品名稱                 對應(yīng)user-agent

   1. 網(wǎng)頁搜索                Baiduspider
   2. 無線搜索                Baiduspider-mobile
   3.圖片搜索                Baiduspider-image
   4.視頻搜索                Baiduspider-video
   5. 新聞搜索                Baiduspider-news
   6. 百度搜藏                Baiduspider-favo
   7. 百度聯(lián)盟                Baiduspider-cpro

    差不多有這7種蜘蛛！大家最最常見的、最在意的當然是“Baiduspider”。