seo扫盲

robots.txt文件使用对网站优化有何意义?

发布日期:2013-01-08 浏览次数:1861

  参加合肥SEO培训的朋友,应该听过培训老师会提起robots文件在网站优化中的重要性。
  robots协议是网站国际互联网界通行的道德规范。robots.txt是搜索引擎查看网站的第一个文件。一个好的网站,robots.txt文件书写很规范,增加搜索引擎的信赖度。除此之外,robots文件还有以下的目的。

robots.txt文件使用对网站优化有何意义?

 


  1、屏蔽死链接
  死链接就是原来存在,后来因为改版或更新等缘故删除了的链接和网页。比如,原来在某个目录(假设目录为/tempweb/)下的所有链接,因为改版现在都变为死链接了,可以用robots.txt屏蔽。
  代码如:Disallow: /tempweb/
  2.屏蔽相似的页面或没内容的页面。
  搜索引擎收录网页后,先对网页进行“审核”,当网页的相似度很高时,会删除其中一个。
  另外网页中如果没有内容,也应该屏蔽
  3.屏蔽多余的链接
  比如当动态和静态共存时,一般去掉动态的。网站中经常会存在多个链接指向同一个页面,这种情况普遍存在时,会让搜索引擎对网站的权威性产生怀疑。通过robots.txt也可把非主要的链接去掉。
  比如:Disallow: /*?*  禁止访问网站中所有包含问号 (?) 的网址
  Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。
  4.屏蔽可能存在的“被K”外部链接
  很多网站允许用户放自己的网站链接,但因为过多的“被K”外部链接可能连累自己。因此,可以尽量把所有外部链接放入一个链接目录下,然后通过robots.txt统一屏蔽。
  比如:Disallow: /B/ 这里定义是禁止爬寻B目录下面的目录
  据了解,目前绝大多数的搜索引擎机器人都遵守robots.txt的规则。对于从事SEO的朋友必须掌握robots.txt的基本知识。

相关文章

·网站优化需注意四种连接方式的区别
·百度快照更新快慢与什么因素有关?
·如何判断百度蜘蛛对我们网站的抓取情况?
·SEOer如何做好网站导航优化?
·如何提高关键词排名
·锚文本对网站优化有什么作用?
·域名申请注意哪些问题?
·站长优化工作中应避免的三大减分项
·seo从业者应懂的“加减法”
·关键词选取注意哪些问题?