当我们的网站有不想让搜索引擎访问的部分，如何拒绝搜索引擎呢？其实很简单的，只需要在网站的根目录中放一个名称为Robots.txt的文件，该文件的写法很有讲究的哦，务必按要求写，成都网站优化人员总结了robots文件的几种常见写法，如下：

　　第一种：禁止所有搜索引擎访问网站的任何部分(也就是网站彻底的拒绝所有搜索引擎收录)

　　User-agent: *

　　Disallow: /

　　第二种：允许所有的robot访问(也就是网站允许所有搜索引擎收录)

　　User-agent: *

　　Disallow:

　　第三种：禁止某个搜索引擎的访问(比如禁止百度收录，按如下的方式写)

　　User-agent: baiduspider

　　Disallow: /

　　第四种：允许某个搜索引擎的访问(比如允许百度收录，按如下的方式写)

　　User-agent: baiduspider

　　Disallow:

　　User-agent: *

　　Disallow: /

　　第五种：禁止搜索引擎访问某些目录

　　User-agent: *

　　Disallow: /cgi-bin/

　　Disallow: /tmp/

　　Disallow: /images/

　　使用方法：很简单，将代码存为一个文本文件，命名为Robots.txt ，放在网页根目录即可。

　　注意：所有语句都是单规则的，即每行仅声明一条规则，比如例五中三个目录必须分三行列出来。