Robots文件设置示例

Robots使得网络蜘蛛按规矩搜索网站,也可以使蜘蛛远离某些服务器上的目录。下面是一个Robots.txt的例子:

User-agent: *
Disallow: /admin/   后台管理文件
Disallow: /require/   程序文件
Disallow: /attachment/  附件
Disallow: /images/     图片
Disallow: /data/       数据库文件
Disallow: /template/   模板文件
Disallow: /css/       样式表文件
Disallow: /lang/      编码文件
Disallow: /script/    脚本文件

*表示对于所有的搜索引擎,Disallow表示不允许访问的目录,如果网站建有站点地图,只需在Robots.txt中添加下列行:

Sitemap: http://www.example.com/sitemap.xml

发表回复

您可以匿名评论,只有「评论」 是必填项,其他的都可以不填。如果填写电子邮箱地址,有人回复时您将收到邮件通知。