很多建站新手对robots.txt文件的重要作用不是很清楚，利用这篇文章普及一下WordPress站点robots.txt文件编写知识。 Robots协议（也称为爬虫协议、机器人协议等）的全称是“网络爬虫排除标准”（Ro…