【DL小结4】seq2seq与attention机制_seq2seq模型是以编码(encode)和解码(decode)为代表的架构方式,seq2seq模型-程序员宅基地

技术标签： encode 深度学习之个人总结 attention seq2seq decode

seq2seq概述

seq2seq模型是以编码（Encode）和解码（Decode）为代表的架构方式，顾名思义是根据输入序列X来生成输出序列Y。encode意思是将输入序列转化成一个固定长度的向量（语义向量，context vector），decode意思是将语义向量解码成输出序列。
在这里插入图片描述

编码阶段

纯粹的RNN/LSTM/GRU
在这里插入图片描述

解码阶段

在这里插入图片描述

由上图可以发现Seq2seq中Decoder的公式和RNN基本一样，差別只在于Decoder多了一个语义向量C 。

目标函数

在这里插入图片描述

seq2seq存在的问题

在Seq2seq模型中，Encoder将输入句子压缩成固定长度的语义向量，如果句子很长，效果就会不好。
在这里插入图片描述

Attention机制

Attention model 用来帮助解決seq2seq在句子过长时效果不佳的问题。

相比于之前的encoder-decoder模型，attention模型最大的区别就在于它不再要求编码器将所有输入信息都编码进一个固定长度的向量中。而是替输入句的每个文字都创造一个语义向量，好处是每个语义向量能够被更有效的解码。
在这里插入图片描述

如何计算每个语义向量

每个语义向量 $c_i$ 是由编码时的隐藏向量序列 $h_1,…,h_{T_x})$ 按权重相加得到的。权重 $α_{ij}$ 的值越高，表示第i个输出在第j个输入上分配的注意力越多，在生成第i个输出的时候受第j个输入的影响也就越大。

Attention model的关键：
由固定的中间语义表示c换成了根据当前输出单词来调整成加入注意力模型的变化的 $c_i$

在这里插入图片描述

如何权重 $α_{ij}$

在这里插入图片描述

Attention model存在的问题

不能平行化
忽略了输入句中文字间和目标句中文字间的关系。

参考教程

Seq2seq pay Attention to Self Attention: Part 1(中文版)
https://medium.com/@bgg/seq2seq-pay-attention-to-self-attention-part-1-中文版-2714bbd92727
深度学习之seq2seq模型以及Attention机制 - hank的DL之路 - 博客园
https://www.cnblogs.com/DLlearning/p/7834018.html

本文链接：https://blog.csdn.net/weixin_38493025/article/details/88367036

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

ios 自己服务器苹果支付_修复苹果IOS支付-程序员宅基地

文章浏览阅读467次。更新记录1.0.0(2019-07-01)插件简介专门用来修复苹果IOS支付时出现"您已购买此App内购买项目。此项目将免费恢复"。问题描述首先在IOS平台里面创建“APP内购买项目”，选择的是“消耗型项目”，然后用uni-app官方的支付api进行支付，多支付几次，有时候就会出现提示“您已购买此App内购买项目。此项目将免费恢复”,特别是在沙盒测试里面支付很大几率出现,我明明选的是消耗型项目，应..._ios开发苹果支付恢复权益

spring MVC mock类单元测试（controller）_mvcmock-程序员宅基地

文章浏览阅读5.6k次。Spring从J2EE的Web端为每个关键接口提供了一个mock实现：MockHttpServletRequest几乎每个单元测试中都要使用这个类，它是J2EE Web应用程序最常用的接口HttpServletRequest的mock实现。MockHttpServletResponse此对象用于HttpServletRespons_mvcmock

【我的世界Minecraft-MC】常见及各种指令大杂烩【2022.8版】_summon生成掉落物-程序员宅基地

文章浏览阅读8.5k次，点赞7次，收藏22次。execute as @a at @s run clear @s minecraft:dark_oak_planks{display:{Name:“{“text”:“第三关[阴森古堡]”,“color”:“red”,“italic”:false}”,color:“16711680”},Enchantments:[{id:“protection”,lvl:1}],Unbreakable:1b} 1。Lore:[“{“text”:“免费”,“color”:“blue”,“italic”:false}”]..._summon生成掉落物

CentOS 7安装教程（图文详解）_centos 安装-程序员宅基地

文章浏览阅读10w+次，点赞487次，收藏2.1k次。CentOS 7安装教程：准备：软件：VMware Workstation 镜像文件：CentOS-7-x86_64-bin-DVD1.iso （附：教程较为详细，注释较多，故将操作的选项进行了加粗字体显示。） 1、文件--新建虚拟机--自定义 2、..._centos 安装

第1篇目标检测概述 —（2）目标检测算法介绍_检测类算法的作用-程序员宅基地

文章浏览阅读1.4k次，点赞3次，收藏8次。目标检测算法是一种计算机视觉算法，用于在图像或视频中识别和定位特定的目标物体。本节课就给大家重点介绍下基于深度学习的目标检测算法！_检测类算法的作用

Linux编译mplayer播放badapple及编译fbv加载图片（基于V3S预告板子要开源了）_v3s笔记-程序员宅基地

文章浏览阅读1.8k次，点赞3次，收藏15次。Linux编译mplayer播放badapple及编译fbv加载图片（基于V3S）1.编译前准备：1.linux5.10内核2.2018.02bulidroot3.v3s板子2.linux内核配置1.修改设备树（linux-5.10/arch/arm/boot/dts/文件夹下）1.修改sun8i-v3s.dtsi文件的最后一个dma的位置添加以下代码： codec_analog: codec-analog@01c23000 { compatible = "allwinner,sun_v3s笔记

随便推点

Unity3D 导入资源_unity怎么导入压缩包-程序员宅基地

文章浏览阅读4.3k次，点赞2次，收藏8次。打开Unity3D的：window-asset store就会出来这样的界面：我们选择一个天空纹理，注意这里的标签只有一个，如果有多个就会显示所有标签的内容：找个比较小的免费的下载一下试试，比如这个：下载以后：点击import就会出现该窗口：然后再点击最底下的import:就导入到我们这里来了。从上面可以切换场景：..._unity怎么导入压缩包

jqgrid 服务器端验证,javascript – jqgrid服务器端错误消息/验证处理-程序员宅基地

文章浏览阅读254次。在你以前的问题的the answer的最后一部分,我试着给出你当前的问题的答案.也许我表示不够清楚.您不应该将错误信息放在标准成功响应中.您应该遵循用于服务器和客户端之间通信的HTTP协议的主要规则.根据HTTP协议实现网格中的加载数据,编辑行和与服务器的所有Ajax通信.每个HTTP响应都有响应第一行的状态代码.了解这个意义非常重要.典型的JSON数据成功请求如下HTTP/1.1 200 OK...._decode message error

白山头讲PV: 用calibre进行layout之间的比对-程序员宅基地

文章浏览阅读4k次，点赞8次，收藏29次。我们在流片之后，通常还是有机会对layout进行局部小的修改。例如metal change eco或者一些层次的局部修改。当我们修改之后，需要进行与之前gds的对比，以便确认没有因为某些..._calibre dbdiff

java exit方法_Java：如何测试调用System.exit（）的方法？-程序员宅基地

文章浏览阅读694次。问题我有一些方法应该在某些输入上调用567779278。不幸的是，测试这些情况会导致JUnit终止！将方法调用放在新线程中似乎没有帮助，因为System.exit()终止了JVM，而不仅仅是当前线程。是否有任何常见的处理方式？例如，我可以将存根替换为System.exit()吗？[编辑]有问题的类实际上是一个命令行工具，我试图在JUnit中测试。也许JUnit根本不适合这份工作？建议使用互补回归测..._检查system.exit

如何在金山云上部署高可用Oracle数据库服务_rman target sys/holyp#ssw0rd2024@gdcamspri auxilia-程序员宅基地

文章浏览阅读788次。如何在金山云上部署高可用Oracle数据库服务根据不同需求，基于金山云云服务器、专属云、物理主机、云硬盘和托管服务自建Oracle数据库，通过Oracle Data Guard实现高可用，实现主备数据复制、有计划切换(Switchover)和故障切换(Failover)，并利用对象存储归档数据库历史数据。具体的架构示意图如下：本文介绍采用金山云云服务器搭建高可用Oracle数据库（采用版本是..._rman target sys/holyp#ssw0rd2024@gdcamspri auxiliary sys/holyp#ssw0rd2024@gd

Spring整合Activemq-程序员宅基地

文章浏览阅读7.6k次，点赞6次，收藏10次。spring整合activemq_spring整合activemq