集思博客

Robots.txt是放在博客根目录给搜索引擎看的一个文件，告诉搜索引擎什么链接能收录什么链接不能收录以及什么搜索引擎能够收录，在SEO中有着举足轻重的作用。

Wordpress本身就有很多地方是非添加robots.txt不可的，比如：

用了伪静态链接之后动态链接依然能访问博客。

用Wordpress架设的博客有很多不同链接但相同内容的页面。
Robots.txt的误区

不添加Robots.txt

Robots.txt作为搜索引擎机器人来到网站查看的第一个文件是很有必要精心设置的，搜索引擎机器人访问网站时，首先会查看站点根目录有没有Robots.txt文件，如果[......]

Read more