时至今日,深度学习领域有哪些值得追踪的前沿研究?

2020-06-09 13:08发布

1条回答
信阳彭于晏
2楼 · 2020-06-09 16:56

其实自从2018年三大佬靠深度学习拿了图灵奖之后,基本宣告深度学习容易解决的问题做的差不多了,这两年这个领域没有太大的突破,因为剩下的问题都是硬核问题,想要比较好的解决很困难,这个可以从这几年的顶会NeurIPS, ICML和 ICLR 可以看出来。我大体列一下自己认为值得 follow 的几个大方向。

  1. 深入反思和理解深度学习的行为: Understanding deep learning, 包括理论和完整的实验分析。比如深度学习获得泛化能力的来源:数据、模型和训练算法技巧的分析;还有深度学习学到的特征表示究竟是什么,宽度、深度、跳连等究竟在 representation learning 上所起的作用;深度学习稳健性,包括对噪声变化、对结构变化、对对抗样本的稳健性;从不同视角建模深度学习等。

  2. 新模型的构建方面,主要目的是希望深度学习满足某种性质或要求,比如可解释性强、可信能力强的模型的构建;比如具有因果推断能力的模型,这其实是个很重要的方向,深度学习很大的成功在于模式识别和函数拟合,其他能力很弱;比如小容量计算友好的模型等。

  3. 新的数据场景或数据结构中的深度学习模型,比如semi-supervised, self-supervised或大家也称unsupervised, transfer learning ,meta-learning等。因为已有的深度学习的成功展现在大数据的有监督上,目前关于这些挑战场景上的理解还很少,虽然大家一顿猛发文章,本质是什么尚不清晰,尤其是背后的设计模型的核心 principle 是什么还是很模糊的。新的数据结构下的问题,典型代表是graph,大型 table及结构化的数据上。

  4. Learning-enhanced algorithms,我自己起的名字,主要指如何利用数据驱动的方式,尤其是深度学习强大表达能力和灵活性,来解决一些传统算法的瓶颈问题,比如如何用learning的思路来解决一些组合问题中的搜索策略;如何从解决多个问题中总结数据或者问题的经验,来拓展到解决类似问题上。

  5. 对应用友好的模型和算法,尤其是精细场景以及实际落地应用中。毕竟深度学习的很多问题是应用驱动的,如何更好的解决实际应用问题也极其关键。这里涉及很多,比如模型动态更新(包括类别,数据的分布变化,数据的异质,多模态等),快速部署(衍生很多加速算法等),便捷部署(衍生 automl),可视化,模块化等。

  6. 还有一个是和硬件结合的方向,这个也很重要,自己不是很懂。
    当然随着逐渐发展,还有不同新的有意思的新方向、新应用出现。 不过最终深度学习这个框架和方法最终会像最小二乘法一样,被广泛应用,成为标准工具,但会不断的有新的东西能挖出来。


相关问题推荐

  • 回答 26

    1、学习一款新的软件,我们要知道软件的布局,以及各个功能,面板等等。这个部分是最容易的,只要仔细熟悉界面,记住就ok了。2、掌握软件基础功能之后,就开始运用于基础的操作,继续深化掌握软件。这个过程也不是很难,基础工具掌握之后,基础的图像操作以及...

  • 回答 5

    电商架构一般是JAVA 跟PHP,JAVAEE构建大型电商网站更稳定 安全 。但是开发成本高,PHP则更快

  • 回答 1
    已采纳

    字面翻译是内核的安全检查失败。是有驱动或者安全软件,直接介入内核层导致的吧?装了什么软件?或者第三方修改的驱动?

  • 回答 11
    已采纳

    《Java基础入门(第2版)》出版社:清华大学出版社这本书在第一版的基础上进行的升级,增加了很多重要知识点的原理剖析。很适合新手打基础用,因为很多高效也用第一版本作为教材的。内涵比较多的知识点案例,还充分的考虑到了学生对Java相关知识点的底层原理...

  • 回答 5

    一、IE浏览器设置代理IP  IE浏览器无疑是最常用的浏览器,而像360浏览器、搜狗浏览器、QQ浏览器这样的浏览器都是基于IE内核开发的浏览器,设置代理IP的方法也大同小异。  1、IE浏览器上选择工具——Internet选项——连接——局域网设置。  2、在局域网...

  • 回答 28

    平面构成理论解决图案问题,色彩构成理论解决配色问题,立体构成理论解决造型问题。

  • 回答 12

    那基本上是没有太大的希望,就像是你问小学生能不能学习线性代数差不多儿,的确有学会的,但是数量肯定是特别少

  • 回答 9

    可以学python

  • 回答 6

    有的 具体的可以咨询一些培训机构的客服哦~

  • 回答 3

    商业模式解析——韩都衣舍的海星模式什么是海星模式?韩都衣舍的老板,先到韩国一口气谈了200多个服装品牌做代理。回国后他并没有选择自己卖,而是到大学招聘创业者。要求是每三个大学生组成一个创业团队(1个美工,1个商务,1个客服),也就是一个网店的基本...

  • 回答 8
    已采纳

    互联网+社区,或者说互联网+x这种概念最近才是真正的风口浪尖,还是刀尖那种。不像前几年,概念一处,几乎所有人都嗅到了肉味,力争分一杯羹。最近的卖菜事件让人们开始真正的审视问题的所在,互联网+x最后都会发展成寡头垄断,服务没提高多少,价格却居高不...

  • 回答 8

    1.java基础2.JSP+Servlet+JavaBean 这个环节主要是懂流程的3.Struts+Hibernate+Spring这个是开发的主流技术 把每个都搞清楚 哪个框架是什么层的4.Ajax(最好学学 很多公司都注重这个)

  • 回答 6

    是算法

没有解决我的问题,去提问