robots robots其实就是禁止蜘蛛来爬行这些页面并不传递其权重的一个文件。通常是放在网站程序根目录下，如地址栏输入www.xuelei.org/robots.txt，即可查看。具体什么写百度官方有，这里就不过多解释。但是并不是说在robots文件里写了禁止蜘蛛去收录此网页它就不会被收录，举个Z简单的例子：百度一下淘宝首页，他仍然有收录其淘宝首页，只不过没收录这个网站下的其他页面。说明了robots文件是能禁止除该被禁止的网址之外的所有网址，不包含被禁止的该网址（当然也是不能传递权重）。 nofollow nofllow标签相信很多站长都很了解，很多人都认为nofollow和robots作用是一样的，而我想说两者在某一方面上来讲是完全相反的。一旦在一个链接上加了nofollow，该链接还是会被收录的，这个收录与否与nofollow的关系不是很大，只不过在当前页面没有给该链接传递权重罢了，打个比方：在A页面中有一个被加个nofollow标签的B页面链接，但B页面还是有可能被收录，而B页面收录的快慢可能会被加nofollow影响并也不是Z主要的因素，只是在A页面中给B页面的链接加了nofollow，A页面的权重不流到B页面去。这里讲到了权重流问题，随便提下，比如A现在的权重值是100，本来会给B页面分30的，其他别的链接只有70，而A页面的另一个页面C链接占了30。而目前想让C的权重高一点。现在给B页面加了nofollow，A页面仍然是1000，有可能C页面的链接就会被分到40，这样权重就能控制了。 noindex noindex直译过来也就是“不索引”的意思，没错，如果加了这个标签，就是让蜘蛛不索引该页面，但是不索引不代表不收录该页面的其他链接。noindex的原理是这样的：蜘蛛看到A页面链接,但它发现这个A页面链接被加了noindex，蜘蛛先是到这个A页面里，并且会分配A页面的权重，并且A页面的权重仍然可以给A页面中的其他链接，但是A本身页面会被蜘蛛从索引库中删除，也就是A页面可能不可能在百度中找到。注：这里说到索引库，很多朋友可能不理解、比较抽象其实这个和数据库有些关系，等有时间了跟大家讲讲蜘蛛的工作原理。 其实在回到淘宝首页被百度收录的例子来看，如果淘宝真想解决从百度中消失，其实只要在淘宝首页中加一个noindex就完事了。
