本页内容是《如何写robots.txt 文件》同时我们还提供济宁地区的网站建设,百度,雅虎,google的推广,点金,商友,等营销软件
请输入关键字:

标题搜索 内容搜索  

你现在所在的位置->首页->网页相关->如何写robots.txt 文件

如何写robots.txt 文件

时间:[2007-10-8 17:50:06]     作者:作者不详

robots.txt文件是放在网站的根目录下,作用是告诉搜索引擎网站的哪些文件,哪些目录可以被索引,哪些不要索引。因此,这个文件是相当的重要,正确书写好robots.txt文件,可以保证你的网页被搜索引擎正确地索引、收录。

书写robots.txt文件时,要使用纯文本的编辑器,使文件是纯文本的格式。robots.txt文件的结构还是比较简单的。它是由一行一行的纪录组成,每行由两个部份组成:
<Field> : <value>

<Field> 有两种,一个是User-agent,一个是Disallow

User-agent代表搜索引擎的名字,比如:
User-agent:googlebot
User-agent:Baiduspider
也可以用通配符*来代表任何的搜索引擎,即User-agent:*

Disallow代表要限制的文件或目录,比如:
Disallow:error.html
Disallow:/cgi-bin/
Disallow支持通配符,Disallow:/eagle 代表/eagle.html或/eagle/index.html都将被屏蔽。

一些例子如下:

允许所有的搜索引擎索引所有的文件

User-agent: *
Disallow:

不允许任何的搜索引擎索引任何文件

User-agent: *
Disallow: /

允许任何的搜索引擎,但禁止索引/cgi-bin/和/images/目录

User-agent: *
Disallow: /cgi-bin/
Disallow: /images/

禁止Google索引所有的文件

User-agent: googlebot
Disallow: /

可以直接察看网站的robots.txt文件,看看别人是如何写的。
百度的
robots.txt

User-agent: Baiduspider
Disallow: /baidu

User-agent: *
Disallow: /shifen/dqzd.html

Google的robots.txt可就长的多了。

【声明】本站刊载的《如何写robots.txt 文件》一文如果有侵害你权益的情况,请联系我们。我们将及时采取措施。
QQ:44637339 Email:just6@163.com Tel:13355163107 Lining studios

友情链接

本页内容是《如何写robots.txt 文件》 返回顶部
© 2001-2024 Lining studios 济宁速创科技有限公司, All Rights Reserved
 Processed Time:46.875ms
中华人民共和国信息产业部网站备案号: 鲁ICP备09103015号-1