Baiduspider - 百度蜘蛛 |
發(fā)布時(shí)間:2018-04-27 文章來(lái)源:本站 瀏覽次數(shù):3292 |
Baiduspider - 百度蜘蛛: 百度是怎么收錄到那么多網(wǎng)頁(yè)的呢?這個(gè)百度用以抓取互聯(lián)網(wǎng)上數(shù)以?xún)|計(jì)的網(wǎng)頁(yè)的程序,就叫做Baiduspider - 百度蜘蛛。 它是一個(gè)程序,廢寢忘食得在互聯(lián)網(wǎng)上找尋新的URL,接著抓取URL上的內(nèi)容,返回到百度的網(wǎng)頁(yè)暫存數(shù)據(jù)庫(kù)。 百度用來(lái)抓取網(wǎng)頁(yè)內(nèi)容的程序,叫做Baiduspider,抓取其他內(nèi)容的蜘蛛,則是新的姓名: 不少朋友會(huì)在自己的網(wǎng)站日志里看到這個(gè)蜘蛛Baiduspider-cpro,現(xiàn)在咱們理解它是百度聯(lián)盟蜘蛛,用以百度聯(lián)盟程序匹配相應(yīng)的廣告。 那么,其他查找引擎的蜘蛛是什么? |
|