robots.txt的写法经验

1、*：通配符，Disallow表示禁止抓取

2、User-agent: *

Disallow: /data/

Disallow: /dede/

Disallow: /include/

例：织梦的一些写法

3、写robots的时候第一个字母必须是大写。

4、冒号后面写一个空格，空格必须是在英文状态下书写的。

Disallow:空格/

5、冒号的书写要在英文小写状态下书写。robots很重要，必须书写正确。

6、*是通配符，表示所有的意思。