Robots屏蔽死链接
许多时候，我们网站会产生死链接，比如说：网站改版、文章删除等，都很有可能会导致网站出现404页面，那么这个时候我们就需要通过robots来屏蔽这些死链接。查看死链的方法有以下两种：

1.通过网站日志查询。
我们可以通过下载网站日志来查看我们的404页面（网站日志可以向空间商要，空间商会提供下载通道），我们用txt打开网站日志，通过搜索“404”，如果你网站有404页面，并且被访问到了，那么这个时候就会被网站日志给记录。

2.百度站长平台查询
我们首先需要验证百度站长平台（如何验证就不说了，Z基本的。）验证以后，我们通过百度站长工具的死链工具，可以清楚的看到，我们网站有哪些死链接。

一、屏蔽无价值的页面
  许多网站都有一些没有价值的页面，比如企业网站的用联系我们页面，这个页面不会对网站产生价值，在百度上面的展现也不会给网站带来权重。因此我们需要利用robots来屏蔽这样的页面。又比如说：余应磊博客的后台管理页面，这种页面不会给网站带来权重，用户也不会去搜索“后台管理”来找他想要的博客。因此我们需要把这种页面同时屏蔽。

二、屏蔽重复路径
当你网站出现重复路径的时候，百度将会对我们的网站进行直接降分，比如说：余应磊博客做了伪静态，同时他的动态页面也可以访问，这个时候就会出现重复路径。因此我们需要通过robots屏蔽这些重复路径。

总结：也许很多人都不知道，许多细节都很有可能是你网站排名不上的原因，而这些小小的细节往往被大家给忽略了。同时希望站长在做网站优化的时候多多关注一些网站细节的问题。

PS:图片来自余应磊博客，图片名字叫做和服女武士