深度学习综述(译)_high way lstm-程序员宅基地

技术标签: 计算机视觉  深度学习  

   本文参考了Recent Advances in Deep Learning: An Overview,并简单的翻译了一下,供自己学习使用,该论文列举了最近几年深度学习的重要研究成果,从方法、架构、正则化以及技术方面进行了概述,是值得学习的一篇文章,码字不易,且行且珍惜,欢迎交流讨论。
   

目录

  • 摘要
  • 引言
  • 相关研究
  • 近期进展
  • 深度学习的方法
  • 深度神经网络
  • 深度生成模型
  • 训练和优化技术
  • 深度学习的框架
  • 深度学习的应用

一、摘要

   深度学习是机器学习和人工智能研究的最新趋势之一。它也是当今最流行的科学研究趋势之一。深度学习方法带来了计算机视觉和机器学习方面的革命性进步。时不时地,新的深度学习技术应运而生,其性能超过了最先进的机器学习,甚至现有的深度学习技术。近年来,世界在该领域取得了许多重大突破。由于深度学习的发展速度非常快,因此很难跟踪常规的进展,特别是对于新的研究人员而言。在本文中,我们将简要讨论一下深度学习在过去几年中的最新进展。

二、引言

      “深度学习”(DL)一词于1986年首次引入机器学习(ML),随后于2000年用于人工神经网络(ANN)(Schmidhuber,2015年)。深度学习方法由多层组成,以多层抽象的方式学习数据特征(LeCun et al.,2015)。 DL方法允许计算机通过从相对简单的概念来学习复杂的概念(Goodfellow等人,2016)。对于人工神经网络(ANN),深度学习(DL)(又称分层学习(Deng and Yu,2014))是关于在多个计算阶段准确分配信用,以转换网络中的聚合激活(Schmidhuber,2014)。为了学习复杂的功能,将深度架构与多个抽象级别(即非线性操作)结合使用。例如具有许多隐藏层的人工神经网络(Bengio,2009)。准确地说,深度学习是机器学习的一个子领域,它使用许多层次的非线性信息处理和抽象,来进行有监督或无监督的特征学习、表示、分类和模式识别(Deng和Yu,2014年) )。
      深度学习,即表示学习是机器学习的分支或子领域。大多数人认为最近的深度学习方法是2006年以来开发的(Deng,2011年)。本文概述了最新的深度学习技术,主要推荐给即将涉足该领域的研究人员。本文包括DL的基本概念,主要方法,最新进展和应用。
      综述论文是非常有益的,特别是对于某一特定领域的新研究人员而言。只要该领域如果在不久的将来和相关应用中具有重大价值的话,通常很难跟踪研究领域的最新进展。如今,科学研究是一种有吸引力的职业,因为知识和教育比以往任何时候都更加容易获得和分享。对于一种技术的研究趋势而言,唯一正常的假设是将它会以各种方式取得许多进步和改进。几年前对某个特定领域的概述,而现在可能已过时了。
      考虑到近年来深度学习的普及和推广,我们简要概述了深度学习和神经网络(NN),以及它在过去几年中的主要进展和重大突破。我们希望本文能为该领域的许多新手研究人员提供帮助,全面了解最新的深度学习研究和技术,并指导他们以正确的方式开始。我们也希望通过这项工作向这个时代的DL和ANN顶级研究人员致敬,例如:Geoffrey Hinton(Hinton),Juergen Schmidhuber(Schmidhuber),Yann LeCun(LeCun),Yoshua Bengio(Bengio)和许多其他研究学者。他们精心打造了现代人工智能(AI)。跟进他们的工作,以保持DL和ML研究的最新水平,对我们来说也很重要。
      在本文中,首先,我们将对过去有关深度学习模型和方法的综述文章进行简短描述。然后,我们将开始描述该领域的最新进展。我们将讨论深度学习(DL)方法,深度架构(即深度神经网络(DNN)和深度生成模型(DGM)),以及重要的正则化和优化方法。另外,有两个简短的部分,对于开源DL框架和重要的DL应用程序进行总结。最后,我们将在最后两个章节(即讨论和结论)中讨论深度学习的现状和未来。

三、相关研究

      在过去几年中,有许多关于深度学习(DL)的综述文章。他们以很好的方式描述了DL方法和方法论,以及它们的应用和未来研究的方向。在这里,我们将简要介绍一些深度学习方面的优秀的综述论文。
      Young等人(2017)讨论了主要用于自然语言处理(NLP)的DL模型和架构。他们展示了DL在各个NLP领域中的应用,比较了DL模型,并讨论了可能的未来趋势。
      Zhang等人(2017)讨论了用于前端和后端语音识别系统的最新深度学习技术。
      Zhu等人(2017)提出了有关DL遥感技术的最新进展。他们还讨论了用于深度学习的开源DL框架和其他技术细节。
      Wang等人 (2017)描述了深度学习模型在时间顺序方式上的演变。简要介绍了模型,并介绍了DL研究的突破。如果想以进化的方式了解深度学习的起源,那么这篇论文将是不错的阅读。他们还提到了神经网络的优化和未来的研究。
      Goodfellow等人 (2016年)详细讨论了深度网络和生成模型。他们从机器学习(ML)的基础知识,深度架构的优缺点出发,全面总结了最近的DL研究和应用。
       LeCun等人 (2015)发表了使用卷积神经网络(CNN)和递归神经网络(RNN)的深度学习(DL)模型的概述。他们从表示学习的角度描述了DL,展示了DL技术是如何工作的以及如何在各种应用中成功使用,并基于无监督学习(UL)预测了未来的学习。他们还指出了文献中DL的重大进展的文章。
       Schmidhuber(2015)对深度学习以及CNN,RNN和深度强化学习(RL)进行了一般性的历史回顾。他强调了序列处理的RNN,同时指出了基本DL和NN的局限性,以及改进它们的技巧。
       Nielsen(2015)详细描述了神经网络以及代码和示例。他还在某种程度上讨论了深度神经网络和深度学习。
       Schmidhuber(2014)讨论了基于时间序列的神经网络、采用机器学习方法进行分类,以及在神经网络中使用深度学

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/xiasli123/article/details/102757144

智能推荐

数字孪生模型构建理论及应用-程序员宅基地

文章浏览阅读5.4k次,点赞3次,收藏42次。源自:计算机集成制造系统作者:陶飞 张贺 戚庆林 徐 俊 孙铮 胡天亮 刘晓军 刘庭煜 关俊涛 陈畅宇 孟凡伟 张辰源 李志远 魏永利 朱铭浩 肖斌数字孪生作为实现数字化转型和促进智能化升级的重要使能途径,一直备受各行各业关注,已从理论研究走向了实际应用阶段。数字孪生是以多维虚拟模型和融合数据双驱动,通过虚实闭环交互,来实现监控、仿真、预测、优化等实际功能服务和应用需求,其中数字孪生模型构建是实现数字孪生落地应用的前提。_数字孪生模型

spring揭秘总结(一)——spring的Ioc容器_spring ioc容器-程序员宅基地

文章浏览阅读1.3k次。spring揭秘这本权威书籍阅读后的总结分享,希望能帮助到你_spring ioc容器

SQLServer中top关键字的用法_sql server top-程序员宅基地

文章浏览阅读6.4k次,点赞2次,收藏12次。实例1.select top 10 * from 成绩信息 作用:查询前十行数据2.select top 10 percent * from 成绩信息 作用:查询前10%行的数据3.declare @i int set @i=20 select top (@i) percent * from 成绩信息声明了一个变量i为整型,然后对变量i复制为20,然后就可以限制20%行数的数据了。4.declare @i int set @i=20 ..._sql server top

2020牛客国庆集训派对day5 B.Hyperdrome_b\hyperdrome-程序员宅基地

文章浏览阅读2.9k次。2020牛客国庆集训派对day5 B.Hyperdrome题目链接题目描述Hypergnome planet is famous for its Great Universal Games between gnomes — the Games between gnomes from each part of the galaxy in various disciplines.The most popular discipline in the Games is the Hyperdrome disc_b\hyperdrome

Python界面 PyQT可视化开发(python3+PyQt5+Qt Designer)-程序员宅基地

文章浏览阅读7.5k次,点赞15次,收藏71次。前言 以前制作一个Python窗体界面,我都是用GUI窗口视窗设计的模块Tkinter一点一点敲出来的,今天朋友问我有没有Python窗体的设计工具,“用鼠标拖拖”就能完成窗体设计,我查了查相关资料,果然有一款好用的工具——Qt Designer。1.安装Qt Designer 这里需要安装两个东西:PyQt5和PyQt5-tools:安装PyQt5:打开CMD或者PowerShell,在命令窗中输入 pip install PyQt5 执行结果如下:..._pyqt可视化

工具类更新第二弹,继续加速中!_java 更新设备状态的工具类-程序员宅基地

文章浏览阅读1.2k次。转载请注明出处:王亟亟的大牛之路5号的时候把自己的老版工具类贴了出来,然后今天上午又加了一点内容进去,然后也是简单的几个Button跑下,看看效果。 新增了两个类,一个手机信息类,一个数据格式转换类。PhoneUtilpublic class PhoneUtil { /*获取手机CPU信息*/ public static String[] getCpuInfo() {_java 更新设备状态的工具类

随便推点

ezcad旋转轴标刻参数_激光打标机软件ezcad中的曲线圆弧排文本参数说明及设置...-程序员宅基地

文章浏览阅读2.9k次。或者单击FI 图标。在绘制文字命令下,按下鼠标左键即可创建文字对象。4.7.2 激光打标机软件EzCad2 支持曲线排文字,如果您单击的位置足够接近于一条曲线图形,那么您输入的文字将会随着该曲线的轨迹排列。当前文字是曲线排文字时,点击 后系统弹出如图 4-12 所示对话框 。图 4-12 曲线文字表示文字总是平行于曲 线的切线放置,如图 4-13 所示。图 4-13 正常放置表示文字总是垂直放置,..._ezcad激光打标详细教程

打开视频文件提示服务器异常,视频解析服务器异常-程序员宅基地

文章浏览阅读1.2k次。视频解析服务器异常 内容精选换一换修改DNS服务器可以很快同步到顶级域服务器并在网络中生效。但是,域名服务商处NS记录的TTL值通常设置为48小时,这样假如某些地区Local DNS缓存了域名的NS记录,则最长需要48小时才能刷新成新的NS记录,变更为修改后的DNS服务器。因此,修改域名DNS服务器的生效时间请以域名服务商处的说明为准。在等待修改生效期间,请勿删除域名在原反向解析主要应用于自建邮箱..._云聚鹰视频解析错误

K-means算法和高斯混合模型的异同_高斯混合模型和kmeans之间有什么区别-程序员宅基地

文章浏览阅读1.5w次,点赞11次,收藏52次。写这篇文章的缘由是因为早上的机器学习讨论班大家对于一句话:用于向量化的k均值是高斯混合模型的一个硬版本(出处:机器学习导论,隐马尔科夫模型,p247,(15-36))产生了深刻的思考然后不理解,在结合老师的讲解以及搜索资料后,决定记录下来。这一部分属于无监督学习的内容,无监督学习内容主要包括:Kmeans聚类算法、高斯混合模型GMM及EM算法等。Kmeans聚类其实聚类算法除了Kmeans,还有其..._高斯混合模型和kmeans之间有什么区别

精简指令集(RISC)和复杂指令集(CISC)的区别_精简指令集和复杂指令集-程序员宅基地

文章浏览阅读2.4k次。RISC是精简指令集CPU,指令位数较短,内部还有快速处理指令的电路,使得指令的译码与数据的处理较快,所以执行效率比CISC高,不过,必须经过编译程序的处理,才能发挥它的效率,我所知道的IBM的 Power PC为RISC CPU的结构,CISCO 的CPU也是RISC的结构。复杂指令集CPU内部为将较复杂的指令译码,也就是指令较长,分成几个微指令去执行,正是如此开发程序比较容易(指令多的缘故),但是由于指令复杂,执行工作效率较差,处理数据速度较慢,PC 中 Pentium的结构都为CISC CPU。_精简指令集和复杂指令集

wps 字体对系统无效_linux版WPS系统缺失字体的解决办法-程序员宅基地

文章浏览阅读1.3k次。每次启动linux版WPS就会弹出“系统缺失字体……”提醒对话框,对于系统缺失字体有以下几种:wingdings、wingdings 2、wingdings 3、Webdings、MT Extra,下面就来讲解如何让系统不缺失这些字体呢?从网上找到wingdings、wingdings 2、wingdings 3、Webdings、MT Extra这些字体进入主文件夹,按Ctrl+h键(显示隐藏文..._wps提示方正黑体_gbk对系统无效

利用MATLAB对图像中物体进行计数_matlab特殊形状计数-程序员宅基地

文章浏览阅读1.6w次,点赞18次,收藏178次。**利用MATLAB对一张图片中相同得物体进行计数。**MATLAB中已有函数可对二值化中的白色区域进行计数。[labeled,numObjects]=bwlabel(‘图像名’,8);运行后numObjects(即物体个数)的值会显示在右侧的工作区中。因此我们需要做的是对图像进行处理,包括二值化,除噪等。若直接将图像转化为二值图像进行计数,则无法得到正确数据。如clc;clo..._matlab特殊形状计数

推荐文章

热门文章

相关标签