WAP手机版 RSS订阅 加入收藏  设为首页
理论生活
当前位置:首页 > 理论生活

哈佛大学与OpenAI首次发现“双下降现象”

时间:2019/12/7 20:25:02  作者:  来源:  浏览:0  评论:0
内容摘要: 【新智元导读】哈佛大学与OpenAI的研究者最新发现“双下降现象”:随着模型大小、数据大小或训练时间的增加,性能先提高,接着变差,然后再提高。这可能会导致“Bigger models may be worse, more samples maybe hurts”。虽然这种行为似...
    【新智元导读】哈佛大学与OpenAI的研究者最新发现“双下降现象”:随着模型大小、数据大小或训练时间的增加,性能先提高,接着变差,然后再提高。这可能会导致“Bigger models may be worse, more samples maybe hurts”。虽然这种行为似乎相当普遍,但我们尚未完全了解其发生的原因,因此这是一个值得进一步研究的重要研究方向。你怎么看?现在戳右边链接上新智元小程序了解更多!

近日,哈佛大学Preetum Nakkiran等研究者与人工智能研究组织OpenAI的研究者Ilya Sutskever最新研究发现,包括卷积神经网络(Convolutional Neural Networks,CNNs)、残差网络(Residual Networks,ResNets)与Transformers的许多现代深度学习模型均会出现“双下降现象”(Double Descent Phenomenon):随着模型大小、数据大小或训练时间的增加,性能先提高,接着变差,然后再提高。其峰值出现在一个“临界区”,即当模型几乎无法拟合训练集时。当增加神经网络中的参数数目时,测试误差最初会减小、增大,而当模型能够拟合训练集时测试误差会经历第二次下降。这种效果通常可以通过仔细的正则化来避免。虽然这种行为似乎相当普遍,但我们尚未完全了解其发生的原因,因此这是一个值得进一步研究的重要研究方向。

相关评论

本类更新

本类推荐

本类排行

本站所有站内信息仅供娱乐参考,不作任何商业用途,不以营利为目的,专注分享快乐,欢迎收藏本站!
所有信息均来自:百度一下 (线上赌博)
闽icp备14007286号-1