亚洲国产视频精品_欧美成人午夜免费影院手机在线看_a天堂中文字幕_中文亚色_日日噜噜噜噜人人爽亚洲精品_国产日韩精品一区二区三区春色

      重慶網(wǎng)絡(luò)公司 搜索引擎蜘蛛是如何爬行以及抓取，下面就簡(jiǎn)單的來(lái)了解下：

搜索引擎依靠蜘蛛來(lái)實(shí)行對(duì)頁(yè)面的爬行和抓取，當(dāng)由一個(gè)導(dǎo)入鏈接進(jìn)入一個(gè)新站的時(shí)候，要做的第一件事就是進(jìn)行訪問(wèn)robots.txt文件，這個(gè)文件準(zhǔn)確清晰的給蜘蛛以本站的指引，站長(zhǎng)可以規(guī)定搜索引擎訪問(wèn)哪些頁(yè)面和不允許訪問(wèn)哪些頁(yè)面。

一般來(lái)說(shuō)有道德的搜索引擎都會(huì)嚴(yán)格的按照規(guī)矩去執(zhí)行。

為了可以獲得更多的網(wǎng)站信息，蜘蛛會(huì)按照頁(yè)面上的鏈接一個(gè)緊接著一個(gè)去爬行頁(yè)面。

從理論上來(lái)說(shuō)蜘蛛可以爬行和抓取玩整個(gè)網(wǎng)站，但是由于有的頁(yè)面結(jié)構(gòu)過(guò)于復(fù)雜蜘蛛一般需要采用一些手段才可以更好的爬行，而這種手段一般來(lái)說(shuō)有兩種一種是廣度爬行，一種是深度爬行。

所謂深度爬行就是蜘蛛按照一個(gè)目錄一直往下爬行一直按照這目錄或者欄目往下走，走到最后在重新返回初始鏈接，在從第二個(gè)目錄爬行。而廣度爬行咋恰恰相反，是按照目錄層次爬行，先爬完一級(jí)目錄在爬行二級(jí)目錄，如此往下。