首页 > 网站建设 > Robots文件举例

Robots文件举例

2010年6月13日 发表评论 阅读评论

Robots使得网络蜘蛛按规矩搜索网站,也可以使蜘蛛远离某些服务器上的目录。下面是一个Robots.txt的例子:

User-agent: *
Disallow: /admin/   后台管理文件
Disallow: /require/   程序文件
Disallow: /attachment/  附件
Disallow: /images/     图片
Disallow: /data/       数据库文件
Disallow: /template/   模板文件
Disallow: /css/       样式表文件
Disallow: /lang/      编码文件
Disallow: /script/    脚本文件

*表示对于所有的搜索引擎,Disallow表示不允许访问的目录,如果网站建有站点地图,只需在Robots.txt中添加下列行:

Sitemap: http://www.example.com/sitemap.xml

此文系静风说原创,转载请注明出处: http://www.jingfengshuo.com/archives/43.html

分类: 网站建设 标签: 浏览量:1,211 次阅读
  1. 本文目前尚无任何评论.
  1. 本文目前尚无任何 trackbacks 和 pingbacks.