拒绝蜘蛛协议_有关蜘蛛程序的协议 - 威林百科weilinceramic.com

拒绝蜘蛛协议

有关蜘蛛程序的协议

拒绝蜘蛛协议是一项有关蜘蛛程序的协议。

robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

语法：最简单的 robots.txt 文件使用两条规则：

· User-Agent: 适用下列规则的漫游器

· Disallow: 要拦截的网页

使用事例：

User-agent: *

Disallow: /admin/ 后台管理文件

Disallow: /require/ 文件

Disallow: /attachment/ 附件

Disallow: /images/ 图片

Disallow: /data/ 数据库文件

Disallow: /template/ 模板文件

Disallow: /css/ 样式表文件

Disallow: /lang/ 编码文件

Disallow: /script/ 脚本文件

参考资料

最新修订时间：2023-11-01 02:45

条目作者

概述

参考资料