有些時(shí)候,站長并不希望某些頁面被抓取和收錄,如付費(fèi)內(nèi)容、測試階段的頁面、復(fù)制內(nèi)容頁面等。網(wǎng)站上不出現(xiàn)鏈接,或者使用JavaScript、Flash鏈接,使用nofollow等方法都不能保證頁面一定不會(huì)被收錄。站長自己雖然沒有鏈接到不想被收錄的頁面,其他網(wǎng)站可能由于某種原因出現(xiàn)導(dǎo)入鏈接,導(dǎo)致頁面被收錄。
要確保頁面不被收錄,需要使用robots文件或Meta Robots標(biāo)簽。