大家都说百度喜欢静态页面，所以很多网站都做伪静态，其实真正危机来了，这个时候既有动态页面也有静态收录如图1.所示，就会产生一个页面多条路径，这样不利于优化；还有一种无价值页面却又被百度收录会影响我们网站用户体验，那么我们怎么处理这些页面呢？请大家不要担心，我接下来会给大家一个非常重要又简单方法，就是robots能够解决以上问题，关于robots有以下：
robots格式
User-agent: *
allow: /
Disallow: /
robots写法
禁止索引网站中所有的动态页面（这里限制的是有“?”的域名，例如index.asp?id=1）
User-agent: *
Disallow: /*?*
禁止蜘蛛访问某个目录
（例如禁止admin\css\images被索引）
User-agent: *
Disallow: /css/
Disallow: /admin/
Disallow: /images/
robots.txt文件放在哪里?
robots.txt文件应该放置在网站根目录下。
首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，我们可以做百度站长平台查询robots。
提交网站地图
现在做优化的都知道做网站地图了，可是却没几个会提交的，绝大多数人是干脆在网页上加个链接，其实robots是支持这个功能的
Sitemap： http://www.abc.com/sitemap.asp
总结：网站页面有价值的内容才会被用户传播，但网站并不是所有页面都对用户有价值，所以我们需要使用robots屏蔽那些无价值页面或重复页面，更利于百度抓取，Robots写得好能快速提升网站排名。
作者：广州SEO真相
除非注明，本文原创：广州SEO真相博客，欢迎转载！转载请以链接形式注明本文地址，谢谢。
原文链接：http://www.webseo.com.cn/302.html
