robots
robots其实就是禁止蜘蛛来爬行这些页面并不传递其权重的一个文件。通常是放在网站程序根目录下,如地址栏输入www.xuelei.org/robots.txt,即可查看。具体什么写百度官方有,这里就不过多解释。但是并不是说在robots文件里写了禁止蜘蛛去收录此网页它就不会被收录,举个最简单的例子:百度一下淘宝首页,他仍然有收录其淘宝首页,只不过没收录这个网站下的其他页面。说明了robots文件是能禁止除该被禁止的网址之外的所有网址,不包含被禁止的该网址(当然也是不能传递权重)。
nofollow
nofllow标签相信很多站长都很了解,很多人都认为nofollow和robots作用是一样的,而我想说两者在某一方面上来讲是完全相反的。一旦在一个链接上加了nofollow,该链接还是会被收录的,这个收录与否与nofollow的关系不是很大,只不过在当前页面没有给该链接传递权重罢了,打个比方:在A页面中有一个被加个nofollow标签的B页面链接,但B页面还是有可能被收录,而B页面收录的快慢可能会被加nofollow影响并也不是最主要的因素,只是在A页面中给B页面的链接加了nofollow,A页面的权重不流到B页面去。这里讲到了权重流问题,随便提下,比如A现在的权重值是100,本来会给B页面分30的,其他别的链接只有70,而A页面的另一个页面C链接占了30。而目前想让C的权重高一点。现在给B页面加了nofollow,A页面仍然是1000,有可能C页面的链接就会被分到40,这样权重就能控制了。
noindex
noindex直译过来也就是“不索引”的意思,没错,如果加了这个标签,就是让蜘蛛不索引该页面,但是不索引不代表不收录该页面的其他链接。noindex的原理是这样的:蜘蛛看到A页面链接,但它发现这个A页面链接被加了noindex,蜘蛛先是到这个A页面里,并且会分配A页面的权重,并且A页面的权重仍然可以给A页面中的其他链接,但是A本身页面会被蜘蛛从索引库中删除,也就是A页面可能不可能在百度中找到。注:这里说到索引库,很多朋友可能不理解、比较抽象其实这个和数据库有些关系,等有时间了跟大家讲讲蜘蛛的工作原理。 其实在回到淘宝首页被百度收录的例子来看,如果淘宝真想彻底从百度中消失,其实只要在淘宝首页中加一个noindex就完事了。
总结:robots有可能收录的是当前爱资料网页,不会收录该网页下的其他页面。nofollow也是可能收录被加nofollow的页面和该页面中的其他链接的页面,只不过不给该页面流权重。noindex收录的是被加noindex页面中的其他页面,而且还传递其权重,只是自己牺牲了。打个比方:noindex是个无私奉献型的,nofollow是不好不坏型的,robots是只为自己着想型的。开个玩笑哦,可别当真哦,只为博君一笑罢了。
<META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW">
标签: 图虫网页版和手机版的区别
评论列表
译过来也就是“不索引”的意思,没错,如果加了这个标签,就是让蜘蛛不索引该页面,但是不索引不代表不收录该页面的其他链接。noindex的原理是这样的:蜘蛛看到A页面链接,但它发现这个A页面链接被加了noindex,蜘蛛先是到这个A页面里,并且会分配A页面的权重,并且A页面的权
去。这里讲到了权重流问题,随便提下,比如A现在的权重值是100,本来会给B页面分30的,其他别的链接只有70,而A页面的另一个页面C链接占了30。而目前想让C的权重高一点。现在给B页面加了nofollow,A页
A本身页面会被蜘蛛从索引库中删除,也就是A页面可能不可能在百度中找到。注:这里说到索引库,很多朋友可能不理解、比较抽象其实这个和数据库有些关系,等有时间了跟大家讲讲蜘蛛的工作原理。 其实在回到淘宝首页被百度收录
有,这里就不过多解释。但是并不是说在robots文件里写了禁止蜘蛛去收录此网页它就不会被收录,举个最简单的例子:百度一下淘宝首页,他仍然有收录其淘宝首页,只不过没收录这个网站下的其他页面。说明了robots文
是“不索引”的意思,没错,如果加了这个标签,就是让蜘蛛不索引该页面,但是不索引不代表不收录该页面的其他链接。noindex的原理是这样的:蜘蛛看到A页面链接,但它发现这个A页面链接被加了noindex,蜘蛛先是到这个A页面里,并且会分配A页面的权重,并且A页面的权重仍然可以给