本站使用的是程 序:Z-BlogPHP 确认
模拟百度蜘蛛抓取,不会出现此错误
此问题大约升级到宝塔6.3后出现
可能宝塔防火墙有关系?存疑
此问题在百度站长论坛有多个帖子反馈他們也是用的宝塔
此问题有比较大的概率和宝塔面板有关系,建议宝塔的管理员能检测一下
我也没有找到出现此问题的根源,只能从百度方面来解决解决办法是在robots.txt做了抓取屏蔽 Disallow: /*%5E%25*
这是百度的蜘蛛。*&%5E%25$也不是编码过的中文转码后是*&^%$,按住SHIFT然后输入87654,就是这些符号
就这几天,我的M站百度收录从600多页断崖式降到100多页(百度站长工具看的索引量)
收录没受影响可以抓取正常的网页,只是不在抓取/*&%5E%25$和/*&^%$了
将错误嘚URL写入robots.txt(这个方法不太好,禁止访问后蜘蛛虽然不爬取,但是我们会因此忽略错误的存在)
因为包含了特殊字符我也不知道如何匹配寫法,希望看到的大神帮个忙在此表示感谢!
点击链接加入群聊【路由器交流】: