有很多站点开启了伪静态之后，同一篇文章会被搜索引擎重复收录好几次，这样会降低网站的权重，那么我们怎么屏蔽到动态页面或者说动态链接的收录呢，方法很简单，就是用到了robots.txt

具体的办法是在robots.txt中加入一句:

User-agent: *
Disallow: /*?*

这样就可以屏蔽掉动态地址的收录,很多的时候，user-agent分号后面没有空格，而是直接“*”号了。这就是一个很微小的错误，但是也是致命的错误。

要注意的是，我们知道php动态页面都是从数据调用的数据，而这个网页不是真实存在的，所以搜索引擎久而久之就会丢弃这样的页面，它会认为这是不可靠的页面。所以我们要屏蔽这样的动态页面，从而降低我们网页的重复页面。那么我们只要在robots.txt文件里面，加上这样的代码就行了："Disallow:/*?*”。这个代码的意思是根目录下个所有动态禁止搜索引擎访问。

这样的话，不管是百度还是谷歌还是其他的搜索引擎都不会收录你的动态页面了，
可能有的朋友说，已经设置了，但还是被收录了，其他那是很早就被收录了，只不过现在才被放出来而已！