Robot文件

Robot文件

功能作用

• Robot文件是告诉搜索引擎的蜘蛛，网站的哪些文件目录可以爬获取，哪些目录不要爬获取。
  

一、Robot的设置

注意：

• 遵守Robots限制协议，如输入内容"/"，那么所有文件都不允许访问；多个目录或文件请用回车换行。
  
• 建议选择全部开放，默认数据 “Disallow: /目录”请不要删除，是不让Robots抓取的目录，保护不想公开的内容。
  
• robots.txt可以告诉百度及其它搜素引擎您网站的哪些页面可以被抓取，哪些页面不可以被抓取。
  
• 您可以通过Robots工具来创建、校验、更新您的robots.txt文件，让你的站点在有更好的表现。
  

• 1.2 设置路径：登录后台—SEO—Robot文件
  

• 一般用户默认选择全部开放即可，有SEO技术基础的用户可以自定义设置。