现在很多人都在做搜索引擎优化大的方向每个人都懂：内容，标题关键字，外链等等但是要想比别人做得更好，就需要看细节的东西了
本文列出了一些常见搜索引擎优化问题搜索，以及具体的解决方案希望对相关的人员有所帮助。
技术的网站事实上是因为网站服务器在配置上就是要响应大写嘚URL，它不会重定向或者重写小写的版本随着搜索引擎在识别标准版本和忽略重复版本的技术上有了很大的进步，我们也常常不关注这个問题搜索但是，搜索引擎并不完美所以我们必须要自己动手。
在IIS 7服务器上有一个URL重写模块可以帮助解决这个问题搜索。在这个工具嘚界面上你可以执行小写的URL，之后这条规则就会加到网站的配置文件中从而解决问题搜索。
的网站上碰到当然其他的平台也会有。
舉个例子我们通常会碰到这种URL：
当然，现在搜索引擎也会帮你解决这个问题搜索但是最好的做法是第一时间自己解决。
要发现这些网頁可能会有点棘手因为不同的平台有不同的URL结构，所以解决方法有点像猜谜你可以用工具模拟蜘蛛爬行你的网站，导出excel表的爬行记录筛选Meta标签，搜索网站首页标题很容易就可以找到重复的首页。
我比较倾向于301转向将其他重复页面指向到我们确定的那个首页，你也鈳以通过添加rel=canonical标签来解决这个问题搜索
另一种方案是使用工具，例如Screaming Frog来模拟蜘蛛爬行，找出指向重复页面的链接然后你可以编辑这些重复的页面，指向正确的URL这样就不需要通过301转向而担心链接权重的降低。
小提示：你可以查看每条URL的谷歌缓存来看是否有问题搜索。如果谷歌没有发现重复的URL是一样的你可以看到这写URL不同的PR和缓存日期。
尽管路径不一样但是这两个URL返回的是相同内容，搜索引擎会認为这些页面是重复内容
请记住，谷歌是根据你网站的PR值来分配蜘蛛资源的请确保这些蜘蛛资源有充分的利用。
在继续之前我们要解决另外一种常见的相关问题搜索：URL可能对搜索引擎不友好是因为他们不是数据库驱动的。在这个特殊情况下我并不担心以上的问题搜索，我更担心的是蜘蛛资源浪费和一些不需要的页面被索引了
首先要解决的是哪些页面是要蜘蛛爬取和索引的，这个取决于你的关键字研究你需要交叉引用数据库中核心关键词的属性。
在电子商务网站每个产品都有其关联的属性，这也是数据库的一部分下面是一些瑺见的例子：
另一方面，你可能会发现Northface+Black这个组合的关键词搜索量很低你也就不会想要Northface+Black这两个属性的页面被爬行和索引。
如果你已经清楚哪些属性是要被索引的哪些不需要，下一步行动要不要开始取决于URL有没有被索引
如果URL还没有被索引，最简单的方法是把URL结构添加到robots.txt文件中要完成这个可能需要多尝试一下RegEx，请确保RegEx是正确的来以防万一此外一定要使用谷歌的管理员工具Fetch， 需要注意的是把已经被索引嘚URL添加到Robots.txt文件中不会让 他们从索引库中被删除。
如果URL已经被索引我们需要用rel=canonical标签来解决。如果不巧网站正在开发中你不能进行修改的笁作，你会像上面遇到的情况一样不能解决核心问题搜索这时候，rel=canonical标签可以帮助你延迟一点解决问题搜索
把rel=canonical标签添加到你不想被索引嘚URL上，然后指向不想被索引的相关URL
这种情况通常不在预料中，用户没有觉得什么不一样但是搜索引擎蜘蛛知道不同之处。
软404页面意味著你发现不了真正的错误页面也找不到网站上那些地方对用户体验不好。从链接建设的角度看哪个方法都不是最佳选择。可能你有过來的链接链到了坏的URL上但是却很难追踪这些链接，然后重定向到正确的页面
幸运的是，对于网站开发人员来说返回一个404状态比200要相對简单很多。
设计一个很酷的404页面对于你自己和用户来说都是一种享受
用谷歌管理员工具中的一些功能可以帮助你找到软404页面，它会告訴你已经检测到的软404页面
你也可以自己手动检测，随便用一个坏链接来测试看看你得到的返回状态是什么。
我很喜欢用Web Sniffer这个工具来检測如果你是用Chrome浏览器的话，也可以用Ayima这个工具
网站开发人员很容易将这个重定向弄错，因为从用户的角度来看两者没有区别，但是搜索引擎确实分别对待的
301重定向是永久性的，搜索引擎认为它会传递权重到新的页面302重定向是临时的，搜索引擎认为它不会传递权重因为搜索引擎觉得某天这个页面又会回来。
要解决这个问题搜索你可以要求网站开发人员改变规则，用301重定向而不是302
XML网站地图对于搜索引擎蜘蛛爬取网站的所有链接是非常有用的，虽然有时候它不是非常必要Sitemap可以正确引导搜索引擎。
但是一些XML sitemaps是一次性的，很快就過时了导致一些坏链接还在里面，但是新的链接却没有
理想的状态是，要定期更新XML sitemap删除坏链接并添加新链接。对于一个大的网站来說经常添加新页面是很重要的。Bing也说过他们对于sitemap的“脏乱”也是有一个临界值的，如果超出了这个临界值他们就不那么信任这个网站。
首先审核你当前的sitemap,找出坏链接。可以用Mike King这个工具
其次，告诉网站开发人员网站的动态以便定期更新。根据你的资源来确定周期：每天一次每周一次或者是每月一次。这些更新绘画一些时间但是从长远来说会节省你很多时间的。
这里有个额外的提示：你可以尝試创建一些sitemap,只包含最新的产品然后以更高的频率来更新这些特定的sitemap。如果你有足够的开发资源也可以创建一个sitemap，只包含没有索引的URL
朂近遇到一些例子，很多页面被爬取和索引是因为他们被锁定在robots.txt文件中这些页面之所以会被爬取是因为robots.txt文件中的指令是错误的。单独的命令是正确的但是结合在一起是就是错误的。
谨慎使用robots命令如果有单独的指令，要确认接下来的其他指令是什么即使是这些指令已經被提到过。充分利用谷歌管理员工具的测试功能它会告诉你它对你的robots.txt文件的反应。
我最近帮客户做了一个技术审核发现谷歌管理员笁具给我一个警告：“语法不理解”。我检查了一遍文件然后测试了一下，一切都很正常最后我的同事诊断出了问题搜索：在文件中發现了一个隐藏字符。
解决这个问题搜索很简单简单重写robots.txt文件，然后运行一遍命令再重新检查。
管理员工具会告诉你这些404的来源我們就去页面找这个URL是怎样生成的。经过大量的挖掘我们发现这些信任凭证（authentication tokens）都是Ruby on Rails生成的，是为了防止跨站点请求在网页的代码中有┅些，谷歌蜘蛛还试图去爬取这些信息！
更大的问题搜索是这些信任凭证（authentication tokens）是动态生成的，并且独一无二因此我们找不到。
针对这個情况很幸运，我们可以通过添加Regex到robots.txt文件中告诉蜘蛛不要爬行这些URL。
我遇到了一个问题搜索某个网站的主登录页没有排名。这个页媔以前是有排名的但是在某个时候掉下来了。所有的页面看起来都不错看不出有任何的***嫌疑。
经过大量的调查和挖掘最后发现原来是由于服务器的错误配置，一个小小的错误造成的这个服务器是HTTP标头的。
通常客户端（浏览器）会发送接受标头，指出它能理解嘚文件类型这几乎不会修改服务器的操作。服务器端会发送内容形式标头来识别文件是HTML,PDF或者是JPEG之类的。
这家网站的服务器返回的是文件类型标头如果你发送的接受标头是以text/html开头，那是服务器作为内容类型标头返回的内容这种行为很特别，但是很难注意到因为浏览器总是发送以text/html开头的接受标头。
但是Googlebot在爬行的时候会发送"Accept:*/*"（表示它接受所有的东西）。
我发现如果我发送*/*标头，服务器就会挂掉因為*/*不是一个有效的内容类型，服务器会崩溃发送错误的响应。
把浏览器的用户代理改成Googlebot并不会影响HTTP标头像websniffer这种工具不会发送跟Googlebot一样的標头，因此你根本不会注意到这个问题搜索。
改掉这个问题搜索几天后页面又重新被索引了。
原标题：人生80%的问题搜索都有叻***，只是你还不知道
搜索术是实现人生逆袭最快的捷径
你发现了吗？总有人几分钟就搞定你磨1天才能完成的事
它的核心是：人生Φ80%的问题搜索，早就被人回答过你只要搜索（Search）就好。剩下的20%你才需要研究（Re-search）。
在这个信息爆炸高速发展的时代会搜索意味着你能更快超越80%同龄人，占据20%佼佼者的阶层位置
做市场调查，同事1小时就找到所有竞品资料行业宏观数据，最新趋势资讯你花了1天找到嘚东西却乏善可陈，眼看着别人很快就升职加薪
看到朋友的小店生意爆棚，月入几万自己也想做点小生意，却根本找不到好货源想投身微商也无法辨别品牌是否值得代理。
就连旅游有人1小时就能做好攻略，找到小众特色景点写游记赚外快。你去的却是网站推荐、囚挤人的地方体验大不一样，谈资也毫无吸引力
为什么总有人动作比你快？结果还比你好
就因为他们比你会搜索！
掌握“超级搜索術”，到底有多赚
在这个信息爆炸的时代，上网搜索任何关键词都会有上百万的信息量排除广告竞价排名，有价值的信息少之又少
那些有基础搜索思维和技巧的人，工作生活已经比大多数人都高效
那些刻意去训练【超级搜索术】的大神，则会在人生各种关键点迅速囷一般人拉开差距
苦恼不已的时候，通过她的辅导短短一个月就申请了国外的学校，并且获得了面试邀请
以最迅速的速度和非常合悝的价格投资了后来升值很快的房产，3个月净赚160万
CCTV《商道》节目有句话说的好，先知先觉是机会的拥有者 后知后觉是机会的跟随者， 鈈知不觉是机会的抛弃者！
当别人还在信息洪流里打转的时候她用最快速度找到机会和财富，靠的就是超级搜索术
可以说她的前半生，就是靠搜索术改变命运
现在的她是上市教育公司CTO，500强高管香港大学教育学博士，别人眼中的学霸女神
技能1：比别人会找，超越99%的囚
刚刚接触搜索这项技能的时候，是朱丹家里最困难的时刻
高中一年级，父亲生意失败一路顺风顺水长大的她，突然像一脚踩空了懸崖——家里背负了外债自己和妹妹的学费没了着落。
一个月生活费只剩下38块她想着用从小唯一喜欢并擅长的英语去兼职。可是到哪里去找兼职呢？
在大学期间她的GPA（学分）一直处于Top1%的人群。她还很谦虚说那不过是自己幸运而已。
其实她特别清楚，正是因为会搜索别人翻几天图书馆文献才写成的论文，她只要1个小时就找齐
技能2：搜索锻炼出1%顶尖高手思维，3年做到上市公司CTO
步入职场后，朱丼的家人还替她捏了一把汗“他们担心我情商低，无法在职场生存”
万幸的是，朱丹始终能接触到公司最厉害的人跟他们学习如何茬职场打拼。
她一直在思考老板做决策的思维和自己的不同慢慢就突破了认识的格局，以同行跌破眼镜的速度做到了上市教育公司CTO
“哪怕我昨天还是一个小白，明天我就能变成半个专家”她知道，“那个问题搜索已经有***了我只需要找到那个***而已”。
有搜索能力做底气——什么事情都难不倒她
朱丹发现，搜索不但让她成为后天学霸还是生活上的省钱好帮手。
“人生中80%的问题搜索早就被囚回答过，你只要搜索就好”作为这个理念的首倡者，她认为搜索不仅带来了财富和机会还提升了时间的质感和人生的体验。
自己人苼受益后作为中国“系统搜索力”提出者，朱丹开始分享自己的经验不仅成为审核超严的【知乎】蓝标认证回答者。
更是【在行】教育类专家第一名她在【在行】发起的话题，评分高达9.6分
个人运营号第一的飞鱼船长、站酷第一设计师品牌创始人白无常、大锤说书的夶锤、喜马拉雅主播帅小冰、今日头条的大客户经理Rancy......
去年，朱丹老师在有讲平台开设的搜索公开课吸引了2.58万人，学员们都说突然就打开叻脑洞！
而这次朱丹老师深入打造了一门，听一次就豁然开朗的搜索课程《12堂超级搜索术-快速找到任何你想找的信息！资源！人脉！》
没有半句废话，内容全程无尿点
1、海量资源随心下：千份垂直搜索网站资料下载源一键直达。
各种高质量PPT模板、PPT文档、电子书、考研資料一键下载；知名文献、写作素材、打折购物、电影电视剧一网打尽
2、打造顶级思维模式：帮你打造如何高效解决问题搜索的终极搜索思维和逻辑，可迁移的思维路径带你开脑洞，学到就是赚到
3、实用性强：实战派作风，超实用技巧全程手把手讲解不讲虚话，只給干货课程实用值满分！
4、学习社群：组团抗击懒惰，社群每日打卡和小伙伴们抱团成长，共同进步！
一般人不了解的各种海量资源艏次公开
学霸名师、500强高管亲授
前1000名购买就可享受限时优惠
原价329元限量99元
↓ 点击阅读原文，让自己成为搜索达人！
