问答

robots.txt文件应该放在哪里?

pandahk 发布于 3个月前 分类:站长

robots.txt文件应该放置在网站根目录下。比如说,当spider访问一个网站(例如http://www.chinaz.com)时,首先会检查该网站中是否存在http://www.chinaz.com/robots.txt这个文件,如果Spider找到这个文件,它就会根据这个文件的内容,来确定它访问权限的范围。

0个回复

  • 暂无回复
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索