欢迎广大seo爱好者一起学习交流经验,一起学习SEO!
当前位置:浪旅seo > seo技术 > 正文

搜索引擎统一Robo鲁大师 优化大师ts文件标准

10-20 seo技术

  摘要?

  搜索引擎统一Robo鲁大师优化大师ts文件标准查找引擎三巨子打的不亦乐乎,但偶然也协作一下。上一年Google,yahoo,微软就协作,一起恪守一致的Sitemaps规范。前两天三巨子又一起宣告,一起恪守的robots。txt文件规范。Google,yahoo,微软各安闲自己的官方博客上发了一篇帖子,发布三家都支撑的robots。txt文件!

  搜索引擎统一Robo鲁大师 优化大师ts文件标准?

  查找引擎三巨子打的不亦乐乎,但偶然也协作一下。上一年Google,yahoo,微软就协作,一起恪守一致的Sitemaps规范。前两天三巨子又一起宣告,一起恪守的robots。txt文件规范。Google,yahoo,微软各安闲自己的官方博客上发了一篇帖子,发布三家都支撑的robots。txt文件及Meta标签的规范,以及一些各自特有的规范。下面做一个总结。

  三家都支撑的robots文件记载包含?

  Disallow – 告知蜘蛛不要抓取某些文件或目录。如下面代码将阻挠蜘蛛抓取一切的网站文件?

  User-agent! *!

  Disallow! /!

  Allow – 告知蜘蛛应该抓取某些文件。Allow和Disallow合作运用,能够告知蜘蛛某个目录下,大部分都不抓取,只抓取一部分。如下面代码将使蜘蛛不抓取ab目录下其他文件,而只抓取其间cd下的文件。

  User-agent! *。

  Disallow! /ab/?

  Allow! /ab/cd!

  $通配符 – 匹配URL结束的字符。如下面代码将答应蜘蛛拜访以。htm为后缀的URL?

  User-agent! *。

  Allow! 。htm$!

  *通配符 – 告知蜘蛛匹配恣意一段字符。如下面一段代码将制止蜘蛛抓取一切htm文件!

  User-agent! *!

  Disallow! /*。htm!

  Sitemaps方位 – 告知蜘蛛你的网站地图在哪里,格局为。

  Sitemap! <;sitemap_location>?

  三家都支撑的Meta标签包含。

  NOINDEX – 告知蜘蛛不要索引某个网页。

  NOFOLLOW – 告知蜘蛛不要盯梢网页上的链接。

  NOSNIPPET – 告知蜘蛛不要在查找成果中显现阐明文字。

  NOARCHIVE – 告知蜘蛛不要显现快照。

  NOODP – 告知蜘蛛不要运用敞开目录中的标题和阐明。

  上面这些记载或标签,现在三家都一起支撑。其间通配符如同曾经yahoo微软并不支撑。百度现在也支撑Disallow,Allow及两种通配符。Meta标签我没有找到百度是否支撑的官方阐明。

  只要Google支撑的Meta标签有。

  UNAVAILABLE_AFTER – 告知蜘蛛网页什么时候过期。在这个日期之后,不该该再出现在查找成果中。

  NOIMAGEINDEX – 告知蜘蛛不要索引页面上的图片。

  NOTRANSLATE – 告知蜘蛛不要翻译页面内容。

  yahoo还支撑Meta标签。

  Crawl-Delay – 答应蜘蛛延时抓取的频率。

  NOYDIR – 和NOODP标签类似,可是指yahoo目录,而不是敞开目录。

  Robots-nocontent – 告知蜘蛛被标示的部分html不是网页内容的一部分,或许换个视点,告知蜘蛛哪些部分是页面的主要内容。

  MSN还支撑Meta标签。

  Crawl-Delay。

  别的提示我们留意的是,robots。txt文件能够不存在,回来404过错,意味着答应蜘蛛抓取一切内容。但抓取robots。txt文件时却发作超时之类的过错,或许导致查找引擎不录入网站,由于蜘蛛不知道robots。txt文件是否存在或许里边有什么内容,这与承认文件不存在是不一样的。
来历! Zac?

版权保护: 本文由 浪旅seo博客 原创,转载请保留链接: https://www.xiaojinseo.cn/seojs/15521.html

seo入门教程-网站seo入门基础免费教程-网站seo优化赚钱技术分享-浪旅seo 博客主人LANGLV
浪旅seo致力于分享各种网站seo优化干货,专注于seo入门基础教程,让小白少走弯路,教你怎么利用seo常用工具去诊断网站以及用seo赚钱的方法,同时每天更新各种黑帽seo优化技术,欢迎广大seo爱好者一起学习交流经验,一起学习SEO。
  • 文章总数
  • 18319526访问次数
  • 建站天数
  • seo入门教程-网站seo入门基础免费教程-网站seo优化赚钱技术分享-浪旅seo
    seo入门教程-网站seo入门基础免费教程-网站seo优化赚钱技术分享-浪旅seo
    seo入门教程-网站seo入门基础免费教程-网站seo优化赚钱技术分享-浪旅seo