我们都知道txt后缀的文件是纯文本文档，robots是机器人的意思，所以顾名思义，robots.txt文件也就是给搜索引擎蜘蛛这个机器人看的纯文本文件。robots.txt是搜索引擎公认遵循的一个规范文档，它告诉Google、百度等搜索引擎哪些网页允许抓取、索引并在搜索结果中显示，哪些网页是被禁止收录的。 ...
打开手机扫描上面的二维码
站长搜索
http://www.adminso.com
Powered By 站长搜索
会员注册
会员登陆
在线投稿
提交网站
站长资讯
网站列表
域名库
关键词库
帮助中心
免责声明
隐私保护
域名查询
广告赞助
网站地图
使用手机软件扫描微信二维码
关注我们可获取更多热点资讯
站长搜索目录系统技术支持
