怎么为wordpress配置robots文件

为什么给wordpress创建robots文件呢?这不得不提到搜素引擎蜘蛛。搜素引擎蜘蛛进入到wordpress网站后，如果没有限制，就会爬取任意的链接地址。