robots.txt是什么？robots.txt在网站中有什么作用？其实robots在网站建设和SEO中也起到很重要的作用！其实robots.txt是搜索引擎访问网站时要查看的第一个文件。robots.txt会告诉蜘蛛哪些网页是可以被收录的。如果网站中没有robots.txt文件，那么蜘蛛将访问网站上所有的页面。 robots.txt必须放置在一个站点的根目录下， ...

有很多站点开启了伪静态之后，同一篇文章会被搜索引擎重复收录好几次，这样会降低网站的权重，那么我们怎么屏蔽到动态页面或者说动态链接的收录呢，方法很简单，就是用到了robots.txt 具体的办法是在robots.txt中加入一句: User-agent: * Disallow: /*?* 这样就可以屏蔽掉动态地址的收录,很多的时候，user-agent分号后 ...