Robots是站點(diǎn)與spider溝通的重要渠道，站點(diǎn)通過(guò)robots文件聲明本網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。
9月11日，百度搜索robots全新升級(jí)。升級(jí)后robots將優(yōu)化對(duì)網(wǎng)站視頻URL收錄抓取情況。僅當(dāng)您的網(wǎng)站包含不希望被視頻搜索引擎收錄的內(nèi)容時(shí)，才需要使用robots.txt文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請(qǐng)勿建立robots.txt文件。
如您的網(wǎng)站未設(shè)置robots協(xié)議，百度搜索對(duì)網(wǎng)站視頻URL的收錄將包含視頻播放頁(yè)URL，及頁(yè)面中的視頻文件、視頻周邊文本等信息，搜索對(duì)已收錄的短視頻資源將對(duì)用戶呈現(xiàn)為視頻極速體驗(yàn)頁(yè)。此外，綜藝影視類長(zhǎng)視頻，搜索引擎僅收錄頁(yè)面URL。
設(shè)置搜索robots協(xié)議的后果
針對(duì)短視頻類內(nèi)容，視頻搜索將不再索引、展現(xiàn)網(wǎng)站的視頻資源，歷史已索引部分會(huì)從搜索中屏蔽。若設(shè)置部分目錄不希望被收錄 ，該目錄下內(nèi)容將從搜索中屏蔽，其余內(nèi)容在搜索中則以正常結(jié)果展示。
閱讀本文的人還可以閱讀：
