论文阅读笔记2_weixin_36919892的博客-程序员ITS304

技术标签: 阅读  服务组合  深度学习  

作者信息:Sofiyanti Nery这个作者写的论文不是很多,但是他的个人主页上有很多关于深度学习模型的解释和自己做的若干实验,是少数几个把深度学习讲的特别清楚透彻的人了。
发表日期:2015,2
发表期刊/会议:IEEE Transactions on Neural Networks &Learning Systems。
被引量:27

主要内容:这篇文章指出CNN存在的问题:神经网络不能像人类一样地持续思考,而是丢掉以前知识重新学习。这一点是不符合人类的认知过程的,因为人的学习过程是积累知识的过程,此刻的思考离不开以前学习的知识,因此为了能让机器持续地思考,引入了循环神经网络的结构,把前面学习到的知识传递给下一个节点,一环扣一环地向后传播,直到输出结果。如下图1所示:
循环神经网络工作图
图1 循环神经网络工作图
  这个网络把输入序列做了链式展开,每个节点分别处理输入,并且把学习到的信息传递给下一个节点,这种做法能够让信息的得到了有效的传递,并且在很多领域都获得了可喜的成绩,包括语音识别、语言模型、机器翻译、图像字幕等,都用到了RNN的变形LSTM,这是一种特殊的RNN,在很多应用上,LSTM的效果比标准RNN要好很多。于是接下来介绍了LSTM模型。
  RNN被选择的原因在于它可以连接前面的信息为当前节点所用,就像人积累了一定的知识,可以作为现在理解事物所用。但是事实上,判断一个事情有时候不需要所有的知识,只需要一些知识片段就可以,比如要理解文章中的一个句子,只需要根据上下文来理解即可,不需要利用以前获得的所有的知识。或者说利用以前的知识可能会导致误判,因此并不是把所有的知识联系起来就可以获得正确的决策,而是需要舍弃一些,这就是LSTM的由来。
作者给网络增加gate来做取舍,很多人把gate翻译为门,可以增进对模型的理解。在对事情进行判断的时候,我们要对知识进行适量取舍,有用的信息留下,没有的信息需要暂时遗忘,因此取舍的这个过程我们用gate来模拟,通过遗忘门,把不需要的知识过滤掉,留下有用的信息来做出决策。
长短期记忆模型工作原理图
图2 长短期记忆模型(LSTM)工作原理图
如图2所示,LSTM整个结构就是一个链式的传送带,LSTM和RNN的区别在于有两条水平带,上面的水平带传送有用的信息,下面的水平带中处理输入数据,并且增加了一个门,过于信息的过滤,如果不需要,可以通过遗忘门来删除信息,只通过有用的信息。对于信息也有不同的处理方式,是完全有用还是部分有用,因此设置了三个门来判段,sigmoid层的输出介于0和1之间,输出为0表示不通过,输出为1表示都通过,一个LSTM通过这样的二门来控制和保护cell state。
具体的如何选择信息以及LSTM的变体就不一一展开,这篇文章从原理上展示了长短期记忆模型是如何工作并且获得有用信息的,讲述的很到位,有茅塞顿开的感觉。感觉深度网络模型也不是什么深不可测的东西,主要还是靠平时的积累和学习就可以理解和应用。

阅读心得: 长短期记忆模型可以用于做服务质量的预测,由于长短期记忆模型有记忆的特性,可以学习到服务质量随着时间变化的潜在特点,并且舍弃无用信息,利用有用特征来判断下一个时间点的服务质量。查找论文当前并没有基于长短期记忆模型,分析了一下原因,主要有如下几点:
1. 长短期记忆模型是一个很新的概念,目前应用领域仅仅在图像识别自动生成字幕、语音识别、实时翻译等,最新的服务质量的预测是BP神经网络,这个模型已经很老了,并没有创新。
2. 很多文章都在研究如何做插值预测,就是填补矩阵的空值,进而做基于QoS的服务选择和服务推荐。然而服务推荐现在都基于已有的服务质量数据来推荐,并不是实时推荐。
3. 服务质量的数据不太好收集,之前做实验的数据集是SCI文章发表的一个公开数据集,大家都在使用这个数据集来做文章。该数据集的特点是服务、用户、服务质量,没有基于时间序列的数据集,因此其它的学者也就没有研究基于时间序列的预测。
因此这应该是一个很好的题材,可以写出好文章。那么接下来就应该收集足够的基于时间序列的服务质量数据,搭建window下的tensorflow环境来写基于LSTM的学习模型。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_36919892/article/details/78666209

智能推荐

linux mint下安装hostapd并配置802.1X认证_代码狙击者的博客-程序员ITS304

        本实验的目的是在Linux Mint18的环境下安装hostapd来实现802.1x,其中mint作为路由的功能,即将hostapd设置为radius客户端。而要入网的是一部android手机,认证的radius服务器是运行在centos6.8上的freeradius。【hostapd简介】         hostapd 是用户控件的守护进程用于无线接入点(AP)和授权服...

IJCAI 2021 医药AI必读论文推荐_DrugAI的博客-程序员ITS304

论文名称AMA-GCN: Adaptive Multi-layer Aggregation Graph Convolutional Network for Disease Predicti...

关于NRF52810 实现按键的长按及单双击_n_miller的博客-程序员ITS304

NRF52810 实现按键的长按及单双击在做nordic nrf52810的芯片的项目中要用到按键的长按以及单双击,实现的过程主要是通过库文件的一些函数,对一些要用到的函数内容进行稍加改动完成的,库文件为bsp.c文件,下面主要是实现的流程:1.首先我们要对按键进行配置app_button_cfg_t app_buttons[BUTTONS_NUMBER] = {{BSP_BUTTON_0,false,BUTTON_PULL,bsp_button_event_handler},};这里只是对BUT

测试计划与测试方案的区别_柠 檬没我萌的博客-程序员ITS304_测试计划和测试方案的区别

一、测试计划:对测试全过程的组织、资源、原则等进行规定和约束,并制定测试全过程各个阶段的任务及时间进度安排,提出对各项任务的评估、风险分析和需求管理。二、测试方案: 描述需要测试的特性、测试的方法、测试环境的规划、测试工具的设计和选择、测试用例的设计方法、测试代码的设计方案。三、测试计划是组织管理层面的文件,从组织管理的角度对一次测试活动进行规划四、测试方案是技术层面的文档,从技术的角度一次测试活动进行规划五、测试计划要明确的内容:1、明确测试组织的组织形式a、测试组织和其他部门关系,责任

记录几篇很好的技术文章_汤米粥的博客-程序员ITS304

码上积木 https://my.oschina.net/u/2979541启动优化 https://my.oschina.net/u/2979541/blog/4810536Android各版本迭代信息 https://my.oschina.net/u/2979541/blog/4805458

三相逆变器双pi控制器参数如何调节_单相逆变电源的电压双闭环矢量控制新方法,解决传统方案的不足..._weixin_39989215的博客-程序员ITS304

东北大学信息科学与工程学院、潞安集团司马煤业有限公司的研究人员宋崇辉、徐涛、王振环、刁乃哲、陈宏志,在2019年第16期《电工技术学报》上撰文(论文标题为“单相逆变电源电压双闭环矢量控制方法”),针对单相逆变电源提出一种电压双闭环矢量控制方法。该方法将单相电路拓展成三相电路,由逆变电源输出电压延拓出另两相电压,将其合成电压矢量,电压外环将电压矢量在同步旋转坐标系下进行闭环控制,实现输出电压在稳态下...

随便推点

ofbiz项目编译及idea启动_东泽312的博客-程序员ITS304_ofbiz启动

idea2021版启动ofbiz项目1 进入项目根目录2 通过ant清理项目3 通过ant编译项目4 需要确保编译成功5 idea引入ofibz项目记录下来idea是如何导入和启动ofbiz项目的1 进入项目根目录2 通过ant清理项目3 通过ant编译项目4 需要确保编译成功5 idea引入ofibz项目确认下根路径没有问题几个要修改的地方添加vm选项-server -XX:PermSize=512M -XX:MaxPermSize=1024m编译完成后

linux 内存清理/释放命令_程序员面试经验分享的博客-程序员ITS304_linux内存清理命令

在Linux系统下,我们一般不需要去释放内存,因为系统已经将内存管理的很好。但是凡事也有例外,有的时候内存会被缓存占用掉,导致系统使用SWAP空间影响性能,此时就需要执行释放内存(清理缓存)的操作了。Linux系统的缓存机制是相当先进的,他会针对dentry(用于VFS,加速文件路径名到inode的转换)、Buffer Cache(针对磁盘块的读写)和Page Cache(针对文件inode的...

MDC机床监控与数据采集系统 数控机床采集解决方案 2020_杭州乐芯科技的博客-程序员ITS304_机床数据采集系统

MDC机床监控与数据采集系统 (国内自主知识产权产品)MDC是一套实时的机床数据采集系统,是领先的机床监控与数据采集系统。MDC 提供强大的机床数据实时采集功能,可以显示所有机床的实时状态以及生产完成情况。MDC可提供强大的数据分析能力,可以给您提供机床利用率、机床故障分布等上百种统计图表,可准确地分析出各种生产瓶颈原因、预测机床故障趋势等。...

QT的基础知识总结_黑企鹅的博客-程序员ITS304

QWidet类继承自QObject类和QPaintDecice类。— QOBject是所有支持QT对象模型的的基类— QPaintDevice是QT中所有可绘制组件的基类Qwidget是所有用户组件的父类Qwidget能够回执自己和处理用户的输入Qwidget是所有窗口组件的抽象Qt中的每一个窗口都是一个QWidgetQwidget类对象常作为父组件或顶级组件使

java drag_【java】 分类栏的滑动drag遇到的问题_abduhader的博客-程序员ITS304

滑动分类,使用drag方法。遇到的问题:滑动的代码段能执行成功,但是实际手机上是没有执行滑动操作的。drag其他地方又能生效,比如主页的标签滑动。尝试的办法:1、使用uirecorder录制工具尝试滑动标签,提示操作成功,但是没有执行滑动操作。2、以为是位置没有写对,用app-inspector检查了位置,在代码运行后的命令行里也检查过对应的位置,确定是没有问题的。3、macaca-client-...

19Go语言——包和包管理工具_读不懂的答案的博客-程序员ITS304

包和包管理工具文章目录包和包管理工具1、包简介1.1 工作空间1.2 源文件1.3 包命名和声明1.4 main 包2、导包2.1 两种方式2.2 包的别名2.3 简洁模式2.4非导入模式(匿名导入)2.5 导包的路径2.6 远程导入3、初始化 init4、文档4.1 生成文档规范4.2 给文档添加示例函数5、包管理工具5.1 依赖管理快速了解5.2 Vendor 机制引入5.2.1 官方dep...

推荐文章

热门文章

相关标签