郑州网络营销外包_seo外包_SEM服务-文践博客

网站根目录下添加Robots.txt文件是网站优化的基本要求，在郑州网站推广的客户站中，我会给 每一个需要SEO的网站添加一个这样的文件。目的是让搜索引擎收录该收录的，禁止搜索引擎不该收录的内容。

SEO服务的过程中，发现很多客户公司的推广人员基本的Robots语法都不会，这里就来温习一下 Robots的基本语法。

1. 禁止所有搜索引擎访问网站的任何部分，语法是：

User-agent: *
Disallow: /


2 允许所有的搜索引擎访问网站的任何部分，语法是：

User-agent: *
Disallow:

当网站根目录下没有Robots.txt文件或者有一个空的 "/robots.txt" 文件是，作用和上面的语法 一样。 也是Robots.txt默认的语法。

3 禁止所有搜索引擎访问网站的指定部分内容，语法为：

（下例中的 App_Data 、 Bin 、 xml 目录是禁止引擎访问的）
User-agent: *
Disallow: /App_Data/
Disallow: /Bin/
Disallow: /xml/

4 禁止某个搜索引擎的访问（下例中的 MSNBOT ）

User-agent: MSNBOT
Disallow: /


5 只允许某个搜索引擎的访问（下例中的 Baiduspider ）

User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /


可以看出基本的语法格式是：

":" 。

在robots文件中可以使用 # 进行注解，具体使用方法和 UNIX 中的惯例一样。该文件中的记录通 常 以一行或多行 User-agent 开始，后面加上若干 Disallow 行。

User-agent:

该项的值用于描述搜索引擎 robot 的名字，在 "robots.txt" 文件中，如果有多条 User-agent 记录说明有多个 robot 会受到该协议的限制，对该文件来说，至少要有一条 User-agent 记录。 如果该项的值设为 * ，则该协议对任何机器人均有效，在 "robots.txt" 文件中， "User-agent ： *" 这样的记 录只能有一条。


Disallow :
该项的值用于描述不希望被访问到的一个 URL ，这个 URL 可以是一条完整的路径，也可以是
部分的，任何以 Disallow 开头的 URL 均不会被 robot 访问到。例如 "Disallow: /help" 对 /help.html和 /help/index.html 都不允许搜索引擎访问，而 "Disallow: /help/" 则允许 robot 访问 /help.html ，而不能访问 /help/index.html 。

任何一条 Disallow 记录为空，说明该网站的所有部分都允许被访问，在 "/robots.txt" 文件中 ，至少要有一条 Disallow 记录。如果 "/robots.txt" 是一个空文件，则对于所有的搜索引擎 robot ，该网站都是开放的。


下面提供一个检查Robots文件语法有效性的一个工具：http://www.searchengineworld.com/cgi -bin/robotcheck.cgi

来源：郑州网络营销外包博客
作者：文践
本文地址：http://www.seozwj.com/seo/7.html
文章文践版权所有，欢迎转载，转载请注明来源和作者，谢谢!!

【已有0位网友发表了看法,你呢？】