下载数据集:#2中有自己制作数据集的教程本文使用的是#5中 的部分数据集
*本地也可以运行,但可能显存不足报cuda memory错误
根据个人路径,在colab notebook中依次运行如下代码
很多网站会检测某段时间某个IP访問次数(通过流量统计、系统日志等)如果访问过多,网站会禁止这个IP访问
因此这个时候我们往往需要换个“小号”来继续获取我们所用的数据。这个“小号”就是我么说的代理。
在请求目的网站之前先请求代理服务器,然后让代理服务器去请求目的网站代理服務器拿到目的网站的数据后再转发给我们代码。
这个网站能够http请求一些参数
以代理云为例,使用代理:
从代理云种选择一个代理IP
上面为未使用代理的访问IP, 下面的为使用代理后的IP