SEO指南

您现在的位置是:首页>网站SEO

网站SEO

robots文件写法,让蜘蛛快速抓取内容

seozuizhinan2021-05-25 10:01:24网站SEO2825来源:SEO指南
在seo优化技术中,robots是一个txt文件,而非参数,所以不要混淆。这文件的主要功能告诉搜索引擎蜘蛛爬虫的范围,应该爬虫的目录和禁止爬虫的目录。在seo优化技术中,什么时候使用Robots文件比较合理?

  在seo优化技术中,robots是一个txt文件,而非参数,所以不要混淆。

  robots.txt文件的主要功能告诉搜索引擎蜘蛛爬虫的范围,应该爬虫的目录和禁止爬虫的目录。通常在根目录下。

  在seo优化技术中,什么时候使用Robots文件比较合理?

  首先,我们遇到了网站升级。旧版本有很多网页,在新版本的一些页面下面不存在。在这种情况下,我们可以通过Robots文件告诉蜘蛛不要再抓住这些被删除的页面。

  站点重复页太多,如同时生产动态和静态两种页,重复页太多,占用了蜘蛛大量的爬行时间,为了解决这一问题,我们可以禁止蜘蛛在Robots文件中抓取动态页。

  第二:网站内容不方便公开,但我们为了以后查看方便,可以用Robots文件告诉蜘蛛不要爬行。

  Robots详细说明文件的写法:

  示意:允许搜索引擎抓取。

  User-agent:*

  Allow:/anc/see

  Allow:/tmp/hi

  Allow:/joe/256

  Disallow:/cgi-bin/

  Disallow:/tmp/

  Disallow:/peixun/

  如果网站允许搜索引擎抓取写作方法:

  User-agent:*

  Allow:/

  说明:允许搜索引擎抓取所有内容。

  Alow是允许蜘蛛爬行的页面,而Disallow背后是不允许蜘蛛访问的路径和文件。

  特殊网站Robots案例:

  (1)只允许访问某个目录下的后缀文件。这里只允许访问带有$符号的网站。

  User-agent:*

  Allow:.htm$

  Disallow:/

  (2)禁止索引站点中的所有动态页面。这里限制访问带?的网站。例如,index.asp?id=1。

  User-agent:*

  Disallow:/*

  (3)使用*来限制访问带有后缀的域名。以下是禁止访问admin目录下的所有htm文件。

  User-agent:*

  Disallow:/admin/*.htm。


发表评论

评论列表(0人评论 , 2825人围观)
☹还没有评论,来说两句吧...