唉有什么办法呢,老板让我想办法我只好求救于csdn,高手啦
最近定制了一套软件,发现可以查看网站蜘蛛的来源,可是蜘蛛确是五花八门的,很多人都不解.就百度蜘蛛都有很多不同的IP,因为百度在不同的地区有不同的服务器,这些应都是百喥的服务器,但是百度有时候可能多次爬取,来的蜘蛛不一样,留下的ip也是不一样的
下面给大家分享一下我的案例
还有123.125.71.*这个IP段的,是抓取内页收錄的,权重较低爬过此段的内页文章不会很快放出来,因不是原创或采集文章
如果你的网站上来了123.125.68.*这个IP段的,而其他的蜘蛛却很少,那么伱的网站离K不远了.