工具介绍
robots.txt是放置在网站根目录的纯文本文件，用于告诉搜索引擎蜘蛛哪些页面可以抓取，哪些不可以抓取。本工具可以根据你的配置在线生成符合搜索引擎规范的robots.txt文件内容。
使用方法
- 选择或确认User-Agent，预设了常见搜索引擎蜘蛛选项
- 选择规则类型，允许抓取(Allow)或者禁止抓取(Disallow)
- 填写需要控制权限的路径，例如禁止抓取后台可以填写
/admin/ - （可选）填写抓取延迟，单位为秒，控制蜘蛛访问频率
- （可选）填写你的Sitemap地址，方便搜索引擎发现网站地图
- 生成结果后点击「复制结果」即可把内容复制出来，放到你网站根目录的robots.txt文件中
注意事项
- robots.txt文件必须放在网站根目录才能生效，不能放在二级目录
- Disallow规则不要漏掉开头的斜杠，应该写
/admin/而不是admin/ - robots.txt只是遵守规范的搜索引擎会遵守，恶意蜘蛛不会遵守这个规则
- 禁止敏感内容被收录，不能只靠robots.txt，需要同时在页面添加meta noindex标签