最经做个项目,先写个爬虫爬些 训练数据,可是爬了2个小时IP就被封了,现在应该怎么办,求高手,谁有没有好的想法,或者具体的解决方法...
限制下采集的频率，比如说 1000ms等待一下
要不就使用代理或换ip.
如果采集速度过快，后两种也避免不了被封的命运
请问一下,这个错误是什么錯..
应该是你的采集频率太快了，web服务器返回的错误代码
具体到网上搜下“909， 错误信息",就应该会有结果
如果你采集的机器是ADSL拔号的，可鉯断线重拔号继续采集如果是固定IP这种，那就想办法使用代理吧
买个教訓吧。连续抓两个小时的数据显然是恶意抓取了。又是想把百度知道山寨成我知道吗
根据本人的经验，一个服务器一个线程主也会出错。
我经手的程序采集时是几十到几百个线程（服务器内存cpu都配置稍高了点）一起采集一个线程只采集一个站点， 中间还要加上延时
居然让你采集了二个小时才封你，他们还真是有点照顾你了
一个服务器一个线程主,那你怎么判断 哪些已经爬过了..
抓过的网页都有保存的 我们用的是url标识。