我經(jīng)常遇到這樣的狀況,許多人都來問我:“為啥屏蔽了的頁面還被抓取?”這兒我簡(jiǎn)單的說下吧,一般有兩種狀況:一種是:對(duì)現(xiàn)已錄入的網(wǎng)頁使用robots屏蔽,老網(wǎng)頁依照robots規(guī)矩的刪去時(shí)刻會(huì)很長(zhǎng),這個(gè)時(shí)分或許會(huì)形成百度沒有遵守robots規(guī)矩。第二種狀況是:假如你屏蔽的頁面或欄目存在大量的外鏈,那么這個(gè)網(wǎng)頁或欄目的URL會(huì)被百度錄入,但內(nèi)容不會(huì)被百度索引,一般這樣的多見于首頁域名。當(dāng)然,假如你連URL都不想被錄入,可以針對(duì)蜘蛛回來404即可。