Robots使得网络蜘蛛按规矩搜索网站，也可以使蜘蛛远离某些服务器上的目录。下面是一个Robots.txt的例子：
User-agent: *
Disallow: /admin/ 后台管理文件
Disallow: /require/ 程序文件
Disallow: /attachment/ 附件
Disallow: /images/ 图片
Disallow: /data/ 数据库文件
Disallow: /template/ 模板文件
Disallow: /css/ 样式表文件
Disallow: /lang/ 编码文件
Disallow: /script/ 脚本文件
*表示对于所有的搜索引擎，Disallow表示不允许访问的目录，如果网站建有站点地图，只需在Robots.txt中添加下列行：
Sitemap: http://www.example.com/sitemap.xml