分析一下如果梦8队4个人打中国队5个人谁会赢？_百度知道怎样评价「微软亚洲研究院4人团队完成视觉识别里程碑式突破」？
新闻链接：希望能介绍和评价一下他们的工作好像又有新进展了。
我觉得我还是比较有资格回答这个问题的。恰巧马毅老师在微博上也提出来相同的质疑。以下是我个人的一些想法欢迎讨论。手机码字，长话短说了。1. 任何benchmark在最开始出现的时候对于这个领域都是有推动作用，在随着越来越多人做这个benchmark，以至于overfit这个benchmark之后，对整个领域就是阻碍作用。2. 如何定义overfit？我个人的想法是要看这个paper提出的方法是否可以推广到别的dataset上。3. 为什么我们要关心imagenet classification的结果？毫不夸张说，因为这个task在high level vision task中是核心中的核心。自从ross证明通过finetune和transfer一个在cls task上pretrain的cnn可以大幅度提高detection的结果以后，基本上所有high level task都有了本质的性能提高。基本上cls的结果提升，直接可以转换为其他所有task的性能提高。(自己广告一下，其实我的nips应该是比ross更早提出这个思想的，不过当时太年轻做的并不完善，而且是在tracking这个相对冷门的task上)4. 至于什么超过人类的水平，看看就好，都是大公司pr需要。没必要较真这个，多看看paper有什么东西可以留下来的。综上，我首先不觉得我们overfit了imagenet。其次，这对于整个vision community是有意义的一件事情。至于我们什么时候会overfit，我也不知道，可能会快，也可能永远不会。利益相关，我是kaiming脑残粉，哈哈
跟邀我的同仁道个歉，我不怎么在知乎答题。。。老是潜水 :(其实大家不用太着眼于一些显然是公关的句子 - 比如说“嘿嘿，我们刷新了记录”，“看看，我们干掉了人类”，“来来，我们干了这一杯”这样的。写文章多少都要给自己的工作找一个抓住眼球的东西，相比较于36kr上的文章，学术文章已经很稳重了。我个人感觉，这篇文章以及Google最近的Batch Normalization，当然不至于像Krizhevsky的NIPS2012 AlexNet那么划时代，但是也没有一些评论里提到的那么无聊。它们都着眼于一个非常实际的情况：怎么解决CNN难训练的问题？一个是参数初始化比较困难，一个是中间训练的时候容易发散。两篇文章都提出了很好的解决思路，虽然没有完全解决CNN的问题，但是至少效果还是不错的 - 以前调参一个星期，训练一个星期，现在一两天就解决了，至少我能省点电费... 自己家烧GPU很贵的。There is no silver bullet, but at least there are some good bullets :)
一直在知乎潜水给各位知友点赞。今天实在有点看不下去了，特此深夜出来回帖。在我看来大多数负面评论者很可能没有仔细看完论文或者没有完全明白其中的价值。首先，有没有干货？有！以下内容都来自于我对于原论文的理解。1. 提出一种新的非线性单元， 也就是参数化的LeakRelu。这种非线性单元一定程度上提升了模型的拟合能力以及收敛速度，而且不会带来额外的成本。免费的午餐你喜欢吗？说一个背景大家可能更容易理解这个这个工作的意义。神经网络已经出现几十年了，大家都默认使用Sigmoid/Tanh函数作为非线性单元，直到近几年大家才意识到Relu更好（更适合优化，精度也更好）。看似很小的变动却花了几十年的时间。参数化LeakRelu将人们对神经网络非线性单元的理解又向前推进了一步。个人觉得这个工作以及maxout, inception都是在非线性单元的研究上非常有价值的工作。2. 更好的初始化方法。很多人玩神经网络遇到的第一个棘手问题可能就是如何初始化。我被神经网络不收敛折腾的发神经过：） 经常一个网络调半天（literally）才能收敛。当网络变深时这个问题就更加严重。这是因为多层之间的乘积关系，初始化不好会造成反向传播的导数指数放大或者衰减，导致不收敛。这个工作很好的解决了初始化的问题，即使二三十层的网络也能正常收敛。我刚知道这个方法的时候感觉自己像飞了起来，瞬间脱离了苦海。如果你曾今也遇到过神经网络不收敛的问题相信你也会有相同的感受。 当然除了这两个主要的贡献之外还有很多值得思考，玩味的地方，比如说神经网络的结构等等。在此我不多说了，相信对深度学习研究的越深入的人对于这篇论文的细节也会有自己更深入的体会吧。其次， 我想回应一下关于黑色魔法（Black Magic）的评论 -- “no one knows why, no one can explain, no exact strategy, it just works.”学者经常会画一个漂亮的理论之圆将自己关在里面。在这个圆内，理论是完备的，一切都是可解释的。经济学更喜欢理性人，优化更喜欢凸问题，微分方程更喜欢线性。喜欢理论之圆的学者经常会排斥甚至贬低圆外的世界。传统的机器学习方法像是一个漂亮的理论之圆，现在深度学习就像圆外的世界。虽然现在对于圆外的世界只有一些零星孤立的观察和理解， 但是随着观察的积累，理解总会慢慢加深，总会有一天上帝说要有光，我们对于深度学习的理解也会像传统的机器学习一样深入。我非常赞同的回答。历史上，生物物理化学都是通过实验科学逐渐形成深刻的理论的。因为没有理论或者不可解释而批评一个新的探索性工作，就有点像古希腊的一个故事，毕达哥拉斯因为拒绝承认无理数的存在，杀死了他的学生（x**2=2的解？）再次，我想反驳一下高票匿名网友的回答。如果没猜错的话应该是少卿的女朋友吧。少卿好福气，妹子萌萌哒。既然是少卿的女朋友的***，那我就简单介绍一下少卿。用一个字形容少卿，那就是，强！少卿的第一篇论文就是CVPR Oral （CVPR是计算机视觉领域的顶级会议， 发表论文的难度很高， 能够获得Oral的论文更是凤毛麟角）。一个强人说自己工作没什么，就像学霸说自己期末考试要挂了，不要随便信。 少卿之所以这样说，我觉得一方面是态度谦虚。深度学习高手如林，不知道的知识永远比知道的多，自己贡献的那一小部分，十分微不足道。另外一方面，新知识一旦融入到自己的思维体系中之后就不觉的那么牛逼闪闪了。并不是新知识没有价值， 而是自己可以发乎自然的用它思考了，所以并不觉得多么令人新奇。另外Google的确很强。我个人觉得主要原因是Google的计算资源更丰富，有更好的并行计算系统。现在深度学习的研究还处于实验报告为主的阶段，实验的周期很大程度上决定着研究的进展。实验周期越短，在给定时间内就能更多的试错，得到更多的反馈经验，就能走的更远。这也是为什么百度最近ImageNet上的成果不是图像组做出来的，而是系统组做出来的（主要原因之一吧）。 为什么连微软的计算资源都还不足？不要问我， 我想吐槽，我很烦！！！！最后，还有两个问题一并回应吧。1. 一些知友对于深度学习的实际应用持悲观态度a. 我开始机器视觉的研究是2011年，那时候我根本想不到，计算机视觉会发展到现在的水平。科技是加速发展的，人的思维却喜欢线性插值。b. 现在深度学习的投资那么火，投资人不是傻子，不能实际应用创造价值，没有人愿意拿自己的钱打水漂。敬请期待深度学习的百亿独角兽们疯狂奔跑吧。2. 是不是里程碑？这是一个主观评价，见仁见智。你说深蓝战胜象棋冠军算不算里程碑？假设你的工作在某一领域超过人类，你猜媒体会怎么报道？我觉得也还是会用类似的字眼吧。利益相关。我是MSRA副研究员一枚。虽然没有参与这项工作，但是对他们的工作还是比较了解， 也非常钦佩。为什么有种写rebuttal的感觉？？？ 也是醉了。
楼上某cmu phd酸的太厉害了。虽然surpassing这种词确实是大公司搞出来的公关手段但是我觉得kaiming能做到这个程度还是挺强的。至于不做CNN的人看到CNN的人一次又一次刷新记录就觉得是在灌水我想说两点点：1. 意义何在？耐盐已经解释了意义了，feature transfer到其他task上对其他task有本质帮助；2. black magic，这个我其实一直想说一句很不负责任的话“你有本事你调一个我看看”但是还是算了不符合知乎价值观。。能刷新纪录的每篇imagnet paper几乎都提供了或多或少的insight，这些insight对应到Vision task上其实是有很多intuition，建议感兴趣的同学多读读paper感受下调CNN的art，会调和不会调真的差很远。总而言之恭喜kaiming团队。。。利益相关我也是前vc intern那group里面3个人我都认识。。另外我也是kaiming吹谁叫人家是高考状元呢！！楼上几个高票我都认识还是匿了。。
文章主要是两个trick，1）把Relu的斜率变成一个可训练得到的参数。2）在initialization的时候用高斯分布来初始化参数。个人的几点看法1）说 里程碑式突破应该是mr公关想出来的词，人家文章作者可能也不会这么觉得。个人觉得，CNN算一个里程碑，这文章的贡献比较而言没有dropout大。2）自己也train过cnn，非常痛苦。。倒是很感兴趣他们这些trick是怎么想出来的。。而且调参训练真的是体力活，我是不会。很希望能有人发些tutorial交流一下。知乎上的大神欢迎指导赐教。3）个人感觉，这篇文章间接说明，CNN上还是有很多潜力可以挖的，远远没到极限。个人觉得仍然没有overfit，classification应该还算是vision里面比较不那么复杂的问题，新的trick能把这个结果刷多高仍未可知。无论人眼记录是3%还是5%，仅仅在classification上超过应该只是时间问题。
是CNN发展的一个阶段，但是不能成为里程碑．我觉得Black Magic是很好的东西，如果没有它们的话，我们怎么知道我们做的不够好，数学的发展还不够？ 实验性的结果有助于增加理解．法拉第研究电的时候本来也是对着试验去的．SVM数学上那么好，图像分类上也不是没比过CNN．CNN的进步本来就是观察到局部的理论，然后优化的． Goolge最近的Paper
准确率到达了４．８%． 这个也是Bench Mark，但是里面提出的Barch Normalization是观察到 Internal Covariate Shift 之后产生的思想，我觉得这些细节的理论更应该引起关注．同样Kaiming He的文章中应该关注的是Leaky Relu为什么能得到这样好的结果，他的证明在什么情况下说明问题，说不定能给以后的理论分析带来一线曙光． 很多觉得DNN理论不足的人可能没有注意到科学发展的规律．如果往之前物理学中看，难道任何一门学科不是这样吗？ 人们不懂得时候先做大量实验，然后在在事实之上，建立理论．然后再预测．而且神经网络的理论也不是没有，比如之前的Topological Transferm (),
的 重整化群理论，An exact mapping between the Variational Renormalization Group and Deep Learning（），虽然我不做CNN，但是大家要看到做NN人的努力．如果CNN以后有理论，我觉得会有到很多高级的数学工具，可能也需要数学在复杂性理论上有更多发展．
没有怎么里程碑式，不过最近两篇文章都各自有不错的insights。看了评论联想到最近review 某CV*R的一些paper，很多reviewer都是自己没真正做过这类东西，然后凭着自己丰富的想象力下结论。
方法不是凭空拍大腿拍出来的，总是有些直觉上的东西指导才能想出来。现在可能有些东西是实验得出、还不知道是为什么，但这并不妨碍大家从中吸取经验。最后真正work的东西可能就是从很多不知道怎么work的工作里面提炼总结出来的。那么多人觉得CNN只是硬调出的，而不去思考背后的idea，那和无脑黑有什么区别？
总体来说:有突破，但不是里程碑式的。这两年随着CNN的广泛普及，大家都在普遍刷新各种识别任务的评价性能。所以微软的工作属于将CNN这种方法进行了改进，并非提出新的问题或者是解决问题的框架。因此不能叫里程碑式的突破。这更多是微软的宣传而已。顺便感慨一下，感觉微软亚研所的大牛们数学都是极好的，视野宽阔，特别善于集成创新。微软的论文里经常是集合了最为流行的工具来解决旧问题。但是，他们论文中的参数讲的不太精确，对我这种学渣来说，很难编程实现。经常是: 这算法牛逼啊，可实现不了，细节不明啊，算了，还是放到introduction里引用下，就不对比了。
又一篇靠CNN刷ImageNet效果的工作。不知道如何评价，对我来说这类工作都是"black magic": no one knows why, no one can explain, no exact strategy, it just works. 随便一个工作就是几百个node，每个node的setting还都不一样，再用一堆trick来train，谁知道为啥这样效果会好...反正就是效果很好就是了... 我也不知道很多工作里是如何得出来那么fancy的CNN结构的，难不成真是靠枚举？另外，文中所说的“超越了人类进行对象识别分类的能力“现在不算数的。他提到的那个5.1%的人肉错误率是斯坦福的Andrej Karpathy做出来的。他最近在G+上公布了他新的人肉效果：3%。所以堆CNN的同志们还有空间:)原文link： （需要翻墙）为了方便不能翻墙的同质，原文粘贴如下：There are several new ImageNet results floating around that beat my 5.1% error rate on ImageNet. Most recently an interesting paper from Google that uses "batch normalization". I wanted to make a few comments regarding "surpassing human-level accuracy". The most critical one is this:Human accuracy is not a point. It lives on tradeoff curve.Estimating the lower bound error5.1% is an approximate upper bound on human error, achieved by a relatively dedicated labeler who trained on 500 images and then evaluated on 1500. It is interesting to go further and estimate the lower bound on human error. We can do this approximately since I have broken down my errors based on categories, some of which I feel are fixable (by more training, or more expert knowledge of dogs, etc.), and some which I believe to be relatively insurmountable (e.g. multiple correct answers per image, or incorrect ground truth label).In detail, the my human error types were:1. Multiple correct objects in the image (12 mistakes)2. Clearly incorrect label ground truth (5 mistakes)3. Fine-grained recognition error (28 mistakes)4. Class unawareness error (18 mistakes)5. Insufficient training data (4 mistakes)6. Unsorted/misc category (9 mistakes)For a total of 76 mistakes, giving 76/1500 ~= 0.051 error. From these, I would argue that 1. and 2. are near insurmountable, while the rest could be further reduced by fine-grained experts (3.) and longer training period (4., 5.). For an optimistic lower bound, we could drop these errors down to 76 - 28 - 18 - 4 = 26, giving 26/1500 ~= 1.7% error, or even 1.1% if we drop all of (6.).In conclusionWhen you read the "surpassing-human" headlines, we should all keep in mind that human accuracy is not a point - it's a tradeoff curve. We trade off human effort and expertise with the error rate: I am one point on that curve with 5.1%. My labmates with almost no training are another point, with even up to 15% error. And based on the above hypothetical calculations, it's not unreasonable to suggest that a group of very dedicated humans might push this down to 2% or so.That being said, I'm very impressed with how quickly multiple groups have improved from 6.6% down to ~5% and now also below! I did not expect to see such rapid progress. It seems that we're now surpassing a dedicated human labeler. And imo, when we are down to 3%, we'd matching the performance of ahypothetical super-dedicated fine-grained expert human ensemble of labelers.不知道我的观点哪里酸了。Deep Learning一直以来就是以结果优秀，理论解释木有，以及效果和调参能力的高度关联性，备受关注和争议。有的人觉得DL是以后大趋势，是和无理数一样伟大的进步，从此不再需要其他的machine learning，理论解释必然会出现，参数多可tune空间大都是更强的拟合能力的体现。有的人觉得太多东西对最后结果有决定性影响，如何设置没有general strategy来指导，调参是art，不可言传只可意会；模型没有理论解释，很多工作的实验结果没有在看不到的测试集上有足够的证据支持；很多实际中好用的trick又实在是太惊讶；所以在有理论解释之前对此持怀疑态度。我是统计机器学习的爱好者，看到一个新的模型希望能够有数学上的解释，Deep Learning目前没有，所以我是后一类人，在这个问题上是保守派。前一类人既然认可Deep Learning，觉得它是机器学习以后发展大趋势，那我个人希望能有更多的精力放在如何从理论角度解释Deep Learning的效果，如何总结出每个科研人员都可以遵循的调参方法，而不是谈“只喜欢漂亮理论”（没有理论解释之前，实验都只是有限数据上的采样），“你行你上”（我确实调不好CNN参数），“没有思考背后的idea”（我确实花了很多时间思考文本数据上Deep Learning的idea，但是我想的越多，对一些工作就越困惑）。如果这个问题下的各位做Deep Learning的同仁能够花少些时间在一个已经证明Deep Learning Work的数据集上进行增量优化，而多一些时间来寻求理论理解，和设计好重现不需要太高级的调参手法，相信学界对于CNN的看法也不会如此两面化。现在CVPR ICCV估计也不会收太多ImageNet+CNN的论文了吧？但是相信哪怕在理论解释上能有一点点进步的工作，也会非常有影响力吧。最后检讨一下：新闻的PR手法让我看起来觉得不太合适，所以才写了偏怀疑的***，仅是从论文来看，是很有意思的CNN的工作的。
已有帐号？
无法登录？
社交帐号登录4打5赢了，但是我不痛快，我的人头全队垫底啊_百度知道我一个人对四个人怎么打（都比我小）_百度知道