主流搜索引擎都遵循robots文件指令，设置了robots文件的网站搜索引擎都不再抓取其中指定的页面或者文件，但是被robots文件禁 止抓取的URL还是有可能出现在搜索结果中，只要有导入链接指向这个URL，搜索引擎就知道有这个URL存在，虽不会抓取页面内容，但是可能将以下几种形 式显示在搜索结果中：
1.只显示URL，没有标题，描述，Google常这么处理，
新手站长应学会如何运用禁止收录机制（二）
。2.显示开放目录或雅虎等重要目录收录的标题和描述。
3.导入链接的锚文本显示为标题和描述，百度常这么处理。
要想URL完全不出现在搜索结果中就需要使用页面上的meta. robots标签。
通常标签会设置为：
使用以上标签的效果是禁止索引本页面，但允许蜘蛛跟踪页面上的链接，也可以传递权重。
接下来为大家详细介绍下meta. robots标签的使用：
Meta. robots标签是页面head部分meta标签的一种，用于指令搜索引擎禁止本页内容。
最简单的meta. robots标签格式：
上面标签的意义是禁止所有搜索引擎索引本页面，禁止跟踪本页面上的链接，
电脑资料
《新手站长应学会如何运用禁止收录机制（二）》(https://www.unjs.com)。content参数里面可以有一下几个参数：
noindex：告诉蜘蛛不要索引本页面。
nofollow：告诉蜘蛛不要跟踪本页面上的链接
nosnippet：告诉搜索引擎不要在搜索结果中显示说明
noarchive：告诉搜索引擎不要显示快照
noodp：告诉搜索引擎不要使用开放目录中的标题和说明
Google，必应，雅虎支持以上标签，但是百度的官方说法是目前只支持nofollow和noarchive
meta. robots 标签要注意几点：
1.标签内容可以并列写，两个中间可以以逗号或者空格隔开，也可以没有
比如说< meta. name="robots" content="noindex">
这两句可以写为，这是与robots文件设置的格式有点区别的。
2.标签不区分大小写
3. 使用这句是没有任何意义的，普通需要被收录、索引、链接需要被跟踪的页面不用写meta. robots标签。