Simone网站robots文件怎么写？规范的robots文件写法
的有关信息介绍如下：
方法/步骤
1
Robots协议
网站通过Robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式，用来指导搜索引擎更好地抓取网站内容，更好的保护用户的隐私和版权信息。
2
Robot是什么？
Robot英文直译是机器人，在搜索引擎优化SEO中，我们经常翻译为：探测器。有时，你会碰到crawler（爬行器），spider（蜘蛛），都是探测器之一，只是叫法不同。
3
robots文件的存放位置放在网站的根目录下
4
robots文件写法的格式与参数说明
如下图
5
robots文件中常用的通配符说明
6
robots文件写法参考
END
