本站提供Linux服务器运维,自动化脚本编写等服务,如有需要请联系博主微信:xiaozme
今天用百度的站长工具检测robots.txt文件的时候能够检测到,于是想把sitemap的地址添加到robots文件以利于搜索引擎收录,然后打开wordpress站点的根目录惊奇的发现居然没有robots.txt这个文件。
然后打开浏览器输入:http://www.xiaoz.me/robots.txt可以访问到里面的内容,但是反复查看在根目录依然没有发现robots文件,百度了一下算是搞明白了。
如果网站没有这个文件,wordpress就会动态生成robots.txt,所以可以访问到,然而在根目录是没有的,或者还有种情况是这个文件被隐藏,小z博客属于前者,因为我在重新上传的时候并没有提示我覆盖内容。
然后用EditPlus手动书写了robots.txt文件并上传到根目录,再用百度站长工具检测,更新成功!
查到了robots.txt,文件也没错,但为何google还是显示被robots.txt阻止了呢
查看下是否
Disallow
禁用了搜索引擎。刚刚开始做个人博客,你的博客里面有很多经验啊,关注下~~
网站地图写进robots有利于收录?!,好吧学习了,现在才知道
嗯嗯,将网站地图写进robots有利于搜素引擎抓取。屏蔽某些目录有利于网站安全。
哪些目录可以屏蔽呢
这个可以根据个人需要,wordpress默认屏蔽: /wp-admin/、/wp-includes/具体的robots书写,你可以在网上找一下。
模仿你的就是了
百度的站长工具也可以直接生产robots,最好用它来检测一下。以免出错
这个我知道的,谢了
不客气