Meta标記是一個(gè)非常有用(yòng)的(de)标記。它位于文檔的(de)頭部，存儲網頁的(de)一些信息。常見的(de)是Description和(hé)keywords。它們分(fēn)别告訴搜索引擎頁面的(de)描述和(hé)關鍵字。
今天在浏覽百度快(kuài)照(zhào)發現客戶的(de)網站無法索引快(kuài)照(zhào)。
檢查客戶網站代碼後才發現，網頁中竟然加上了(le)禁止百度谷歌(gē)建立網站快(kuài)照(zhào)的(de)代碼
禁止搜索引擎建立網站快(kuài)照(zhào)的(de) meta 标簽：
<meta name="robots" content="noarchive"/>
如果是對(duì)于單獨的(de)某個(gè)搜索引擎不允許建立快(kuài)照(zhào)，例如百度，我們就可(kě)以寫成：
<meta name="Baiduspider" content="noarchive" />
可(kě)以抓取本頁，而且可(kě)以順著(zhe)本頁繼續索引别的(de)鏈接，但不許保存快(kuài)照(zhào)
<meta name="Baiduspider" content="index,follow,noarchive" />
關于這(zhè)個(gè) meta 标簽，其實也(yě)是可(kě)以不用(yòng)加入 html 中去，針對(duì)這(zhè)個(gè)就是利用(yòng)這(zhè)個(gè)方法實現對(duì)蜘蛛的(de)控制。
更多(duō)關于控制蜘蛛爬取索引的(de)标簽：
#可(kě)以抓取本頁，而且可(kě)以順著(zhe)本頁繼續索引别的(de)鏈接
<meta name="robots" content="index,follow" />
#不許抓取本頁，但是可(kě)以順著(zhe)本頁抓取索引别的(de)鏈接
<meta name="robots" content="noindex,follow" />
#可(kě)以抓取本頁，但是不許順著(zhe)本頁抓取索引别的(de)鏈接
<meta name="robots" content="index,nofollow" />
#不許抓取本頁，也(yě)不許順著(zhe)本頁抓取索引别的(de)鏈接。
<meta name="robots" content="noindex,nofollow" />