当前位置: 首页 > 其它 > 在WordPress根目录没有发现robots.txt

在WordPress根目录没有发现robots.txt

发布于:2014-3-28 其它 11条评论 11,521 views
本站提供Linux服务器运维,自动化脚本编写等服务,如有需要请联系博主微信:xiaozme

今天用百度的站长工具检测robots.txt文件的时候能够检测到,于是想把sitemap的地址添加到robots文件以利于搜索引擎收录,然后打开wordpress站点的根目录惊奇的发现居然没有robots.txt这个文件。

然后打开浏览器输入:http://www.xiaoz.me/robots.txt可以访问到里面的内容,但是反复查看在根目录依然没有发现robots文件,百度了一下算是搞明白了。

如果网站没有这个文件,wordpress就会动态生成robots.txt,所以可以访问到,然而在根目录是没有的,或者还有种情况是这个文件被隐藏,小z博客属于前者,因为我在重新上传的时候并没有提示我覆盖内容。

然后用EditPlus手动书写了robots.txt文件并上传到根目录,再用百度站长工具检测,更新成功!


robots


11 条评论 “在WordPress根目录没有发现robots.txt”

  1. li yan liang说道:

    查到了robots.txt,文件也没错,但为何google还是显示被robots.txt阻止了呢

    1. xiaoz说道:

      查看下是否Disallow禁用了搜索引擎。

  2. Andy_强仔说道:

    刚刚开始做个人博客,你的博客里面有很多经验啊,关注下~~

  3. MoLogo说道:

    网站地图写进robots有利于收录?!,好吧学习了,现在才知道

    1. 小z说道:

      嗯嗯,将网站地图写进robots有利于搜素引擎抓取。屏蔽某些目录有利于网站安全。

      1. MoLogo说道:

        哪些目录可以屏蔽呢

        1. 小z说道:

          这个可以根据个人需要,wordpress默认屏蔽: /wp-admin/、/wp-includes/具体的robots书写,你可以在网上找一下。

          1. MoLogo说道:

            模仿你的就是了

          2. 小z说道:

            百度的站长工具也可以直接生产robots,最好用它来检测一下。以免出错

          3. MoLogo说道:

            这个我知道的,谢了

          4. 小z说道:

            不客气

发表评论

邮箱地址不会被公开。 必填项已用*标注