停止條件的設(shè)定通常是以時(shí)間或是數(shù)量為依據(jù),可以通過鏈接的層數(shù)來限制網(wǎng)絡(luò)蜘蛛的爬取。同時(shí)頁面信息的重要性為客觀因素決定了蜘蛛對(duì)該網(wǎng)站頁面的檢索。站長工具中的搜索引擎蜘蛛模擬器其實(shí)它就是這個(gè)原理?! 』谶@蜘蛛工作原理,站長都會(huì)不自然的增加頁面關(guān)鍵詞出現(xiàn)次數(shù),雖然對(duì)密度產(chǎn)生量的變化,但對(duì)蜘蛛而言并沒達(dá)到一定的變化。這在搜索引擎優(yōu)化過程中應(yīng)該要避免的。