已有 11 条评论

1. 

   li yan liang 2019-02-01 16:57

   查到了robots.txt，文件也没错，但为何google还是显示被robots.txt阻止了呢

   回复
   1. 

      xiaoz li yan liang 2019-02-01 17:33

      查看下是否Disallow禁用了搜索引擎。

      回复
2. 

   Andy_强仔 2014-05-10 10:26

   刚刚开始做个人博客，你的博客里面有很多经验啊，关注下~~

   回复
3. 

   MoLogo 2014-03-30 20:38

   网站地图写进robots有利于收录？！，好吧学习了，现在才知道

   回复
   1. 

      小z MoLogo 2014-03-30 20:41

      嗯嗯，将网站地图写进robots有利于搜素引擎抓取。屏蔽某些目录有利于网站安全。

      回复
      1. 

         MoLogo 小z 2014-03-30 20:44

         哪些目录可以屏蔽呢

         回复
         1. 

            小z MoLogo 2014-03-30 20:47

            这个可以根据个人需要，wordpress默认屏蔽： /wp-admin/、/wp-includes/具体的robots书写，你可以在网上找一下。

            回复
            1. 

               MoLogo 小z 2014-03-30 20:50

               模仿你的就是了
            2. 

               小z MoLogo 2014-03-30 20:59

               百度的站长工具也可以直接生产robots，最好用它来检测一下。以免出错
            3. 

               MoLogo 小z 2014-03-30 21:04

               这个我知道的，谢了
            4. 

               小z MoLogo 2014-03-30 21:06

               不客气