<p>允许所有的robot访问<br />
<br />
User-agent: *<br />
Disallow:<br />
<br />
或者也可以建一个空文件 "/robots.txt" file<br />
<br />
禁止所有搜索引擎访问网站的任何部分<br />
<br />
User-agent: *<br />
Disallow: /<br />
<br />
禁止所有搜索引擎访问网站的几个部分（下例中的01、02、03目录）<br />
<br />
User-agent: *<br />
Disallow: /01/<br />
Disallow: /02/<br />
Disallow: /03/<br />
<br />
禁止某个搜索引擎的访问（下例中的BadBot）<br />
<br />
User-agent: BadBot<br />
Disallow: /<br />
<br />
只允许某个搜索引擎的访问（下例中的Crawler）<br />
<br />
User-agent: Crawler<br />
Disallow:<br />
<br />
User-agent: *<br />
Disallow: /<br />
<br />
1、Keywords (关键字)<br />
说明：为搜索引擎提供的关键字列表<br />
用法： <meta name="Keywords" content="关键词1,关键词2，关键词3,关键词4,……" /><br />
注意：各关键词间用英文逗号“,”隔开。META的通常用处是指定搜索引擎用来提高搜索质量的关键词。当数个META元素提供文档语言从属信息时，搜索引擎会使用lang特性来过滤并通过用户的语言优先参照来显示搜索结果。例如：<br />
<meta lang="EN" name="Kyewords" content="vacation,greece,sunshine" /><br />
<meta lang="FR" name="Kyewords" content="vacances,grè:ce,soleil" /><br />
<br />
2、Description (简介)<br />
说明：Description用来告诉搜索引擎你的网站主要内容。<br />
用法： <meta name="Description" content="你网页的简述" /><br />
注意：<br />
<br />
3、Robots (机器人向导)<br />
说明：Robots用来告诉搜索机器人哪些页面需要索引，哪些页面不需要索引。Content的参数有all、none、index、noindex、follow、nofollow。默认是all。<br />
用法： <meta name="Robots" content="All|None|Index|Noindex|Follow|Nofollow" /><br />
注意：许多搜索引擎都通过放出robot/spider搜索来登录网站，这些robot/spider就要用到meta元素的一些特性来决定怎样登录。<br />
<br />
all：文件将被检索，且页面上的链接可以被查询；<br />
none：文件将不被检索，且页面上的链接不可以被查询；(和 "noindex, no follow" 起相同作用)<br />
index：文件将被检索；（让robot/spider登录）<br />
follow：页面上的链接可以被查询；<br />
noindex：文件将不被检索，但页面上的链接可以被查询；(不让robot/spider登录)<br />
nofollow：文件将不被检索，页面上的链接可以被查询。(不让robot/spider顺着此页的连接往下探找)<br />
<br />
4、Author (作者)<br />
说明：标注网页的作者或制作组<br />
用法： <meta name="Author" content="张三，abc@sina.com" /><br />
注意：Content可以是：你或你的制作组的名字,或Email<br />
<br />
5、Copyright (版权)<br />
说明：标注版权<br />
用法： <meta name="Copyright" content="本页版权归Zerospace所有。All Rights Reserved" /><br />
注意：<br />
<br />
6、Generator (编辑器)<br />
说明：编辑器的说明<br />
用法： <meta name="Generator" content="PCDATA|FrontPage|" /><br />
注意：Content="你所用编辑器"<br />
<br />
7、revisit-after (重访)<br />
说明：<br />
用法： <meta name="revisit-after" content="7 days" /><br />
注意：</p>