robots里這樣寫(xiě),就能避免蜘蛛爬這個(gè)“index.htm”這個(gè)首頁(yè)?

1084次閱讀

robots這樣寫(xiě)是不是就能避免蜘蛛爬這個(gè)“index.htm”這個(gè)首頁(yè)?

User-agent: *
Disallow: /index.htm


11-30.

我的index.htm是現在默認的首頁(yè),想屏蔽蜘蛛抓取。讓蜘蛛爬另一個(gè)文檔,主要是規避備案巡查

我的網(wǎng)站和我備案的不一樣,服務(wù)器那邊要求改,我就整了個(gè)htm文檔來(lái)規避下。

寫(xiě)法沒(méi)有問(wèn)題。但正常的不建議屏蔽首頁(yè)地址,,“index.htm”這個(gè)后綴地址是需要處理掉的。

當然,如果只是應付備案短暫需求,,就只能這樣處理。

后續備案處理后,盡快處理后綴“index.htm”。同時(shí)robots修改回去。


robots設置方法視頻


本文由夫唯SEO特訓營(yíng)編輯整理。

搜外專(zhuān)注SEO培訓和SEO周邊Saas服務(wù)解決方案,10年來(lái)超過(guò)五萬(wàn)學(xué)員在此獲得技術(shù)提升和人脈圈子。

SEO課程包含移動(dòng)搜索、零基礎建站、群站SEO思維、搜外6系統、SEM入門(mén)等。

192期A(yíng)班報名時(shí)間7月1日-7月15日,請添加招生客服小沫微信:seowhy2021。 微信掃碼添加客服人員

我們的目標是:讓非技術(shù)人員輕松學(xué)會(huì )互聯(lián)網(wǎng)技術(shù)。

  • 搜外會(huì )員SEO交流群(免費)

    微信掃碼添加客服人員
  • 小程序運營(yíng)交流群(免費)

    微信掃碼添加客服人員
  • 搜外會(huì )員SEM競價(jià)交流群(免費)

    微信掃碼添加客服人員
  • 夫唯學(xué)員SEO交流群(VIP)

    微信掃碼添加客服人員

掃碼獲取資源

微信掃碼添加客服人員
  • SEO技術(shù)實(shí)戰微信群

    微信掃碼添加客服人員
  • 大站流量總監群(審核身份)

    微信掃碼添加客服人員
  • Google獨立站英文SEO群

    微信掃碼添加客服人員
  • SEO團隊KPI管理表格

    微信掃碼添加客服人員
  • 工業(yè)品網(wǎng)站友情鏈接群

    微信掃碼添加客服人員
  • 本地生活服務(wù)業(yè)友鏈群

    微信掃碼添加客服人員

跟夫唯老師系統學(xué)習群站SEO
成為互聯(lián)網(wǎng)運營(yíng)推廣大咖

掌握SEO技巧、建站前端、群站霸屏、SEM入門(mén)、新聞源推廣……
Processed in 0.146920 Second , 41 querys.