网站优化robots.txt怎么设置

2022-09-16 09:26:57 447

  robots.txt是网站对搜索引擎的限制文件,一般存放于网站根目录,它的存在是告诉搜索引擎哪些目录文件可以查看,哪些不可以查看。

  关于robots.txt内容的写法比较简单,但是也不可大意,许多做优化排名的网站,然后发现该文件中禁止搜索引擎爬抓,犯了这种低级错误。

  User-agent:是标识针对的哪种搜索引擎,*号表示所有搜索引擎,Disallow:表示不允许爬抓,sitemap:填写网站地图的地址文件,方便蜘蛛爬行。

  如果没有特别要求,该文件夹保持为空即可,如果有后台页面不允许蜘蛛爬抓,可以在文件里写出来。

  该文件为网站优化的基础文件,虽然设置并不难,但是对于新网站来说,在上线后一步就要检查一下是否正确。